本帖最后由 朝阳风雨 于 2022-4-13 23:48 编辑 + R8 P$ V4 r* B" H+ ?! T
M3 m+ T. v" g7 Y+ u
我的一个网站，从3月21号开始，大量的网页的索引被移除。我一开始还以为是谷歌算法的影响，一开始也没有理它。但是最近发现越来越不对了。即使受到更新的影响，也不可能一下子来源谷歌的完全被拔毛，又不是采集站。非常诡异的曲线。点击快掉光了。而且我没有收到任何谷歌人工操作的提醒。 4 E3 v; e2 N) [$ q/ I 9 [: ?' e; D$ A$ z1 q6 e 6 b* h/ |$ G' t& s; F. l$ [( ~& d5 F3 K
$ \- r" y* n4 E7 O! t
今天有空瞄了一眼网站工具，发现这索引不对啊，已经开始掉了一半了。然后我仔细一查，基本上所有的文章的索引都被移除了。# t; L) P [2 ]1 ] j# k. }, |* y
; w( @5 q" J+ ~! `1 @/ m: ]
* E9 x6 v2 Y' y9 r5 m# ?2 F然后看看哪些被移除的，发现网页可以正常访问，但是谷歌抓取就是抓取不了。真是奇怪。抓取的时候，会提示Page fetch错误：Failed: Blocked due to access forbidden (403)。这个太不可思议了。网站已经运行了几年了，怎么现在出现这个问题？ 5 ?2 I1 I3 ~' D' T- d e # K: v. N* k: V) d. g; e3 T# k3 e! J. \9 N' Q' z3 i% c0 Q
我把所有的插件都禁止后，发现问题依然存在。然后联系了bluehost客服。他们说我的网站的robots.txt是没有的。那就真的诡异了。没有我之前的网站怎么能抓取到呢？robots.txt是这样的现在。: P# p9 D$ k. D6 I
User-agent: * 6 m+ b8 |: F; e% L' G9 k+ a
Disallow: /wp-admin/ ' x' r- _/ k5 j5 I1 V$ L
Allow: /wp-admin/admin-ajax.php# G. B/ A2 {9 J- x" `
" O& `. j$ T2 s/ G
Sitemap: https://xxxxx.com/wp-sitemap.xml
复制代码
然后他们改了之后，我发现用了谷歌的url测试工具还是抓取不到，太坑了。; Y$ U$ d* `4 o
7 c+ U/ v) j2 Z" o$ m# j s我发现论坛这2天已经有几个人碰到被黑的情况，大家有空多检查下。我这个网站这次也是被黑的话，已经第二次了。。。 , a& U3 S& Z& j: |6 x) p1 z( X+ U( G! X8 R
已找到原因，CDN引起的，但是具体问题还在排查。。。 ) `! b) R0 ]) u- C- X$ H) n, A. _' m L9 D; U# l
发表于 2022-4-13 22:05:35
发表于 2022-4-13 22:14:38
楼主
发表于 2022-4-14 07:01:24
发表于 2022-4-14 07:41:56
