我的网站似乎被人监控了？

luck

ronse 发表于 2021-2-17 12:37
4 A  Z& |: E, l$ p1 D- u0 K. D2 t很多爬虫就是不带referer。可以用cloudflare的防火墙，根据ASN过滤掉一些廉价机房的IP，增加竞争对手监控 ...

( t, B2 q; A3 L1 s谢谢！
  i7 c" ?5 V& a6 o$ p8 g* W, A爬虫就是可以做到直接输入精确网址对吗？在它之前没有其它的网址。对此一无所知，了解一下。

luck

爬虫是蜘蛛吗？
我的网站常来蜘蛛，见下图
% _( V6 Y. B% m' f/ n

187277752

谷歌爬虫网址是固定的

ronse

luck 发表于 2021-2-17 19:36
. f# E( Y8 f- S8 I谢谢！
% W1 {& N, W2 H+ p" O) X  H爬虫就是可以做到直接输入精确网址对吗？在它之前没有其它的网址。对此一无所知，了解一下。 ...

# t, z0 N6 ~# @8 @爬虫是所有网址都爬，只不过打开你新的文章时，不带referer而已

luck

就在刚刚又了表了一篇文章，记录显示，在不到一分钟的时间内，我在首页所的第二种情况，No referring link，再次精确输入我的不到一分钟的新网址进来了。它的IP还是那个IP.
. t% }, L, T- _0 w1 g显示器等信息没变，如下是它的信息Linux, Chrome 85.0, 1280x2000

pladavz

我不太懂，为什么你这么紧张？你这个站是干嘛的，违法哈？

yang。

反爬吧，一般性策略就是过滤IP和行为，如果要深层次的 可以参考企查查 前端css/js 渲染 变形等处理，可以过滤到很大一部分的爬虫，不过难度也高