iptables 禁止了百度蜘蛛，为什么还能爬我的站？

123jj · 发表于 2015-4-19 22:57:49

用iptables 禁止了百度蜘蛛（爬得最频繁的一个段） 123.125.71.*

iptables -I INPUT -s 123.125.71.0/24 -j DROP

这应该没错吧，换成本地的ip段有效的，直接就访问不了，但是貌似禁止不了百度的蜘蛛啊，还是一堆的蜘蛛被统计到~~ 用的是statcounter。

应该怎么禁止百度蜘蛛来爬呢？

davidc · 发表于 2015-4-19 23:50:11

用robot.txt直接禁

123jj · 发表于 2015-4-20 00:22:13

davidc 发表于 2015-4-19 23:50
; f7 Z8 S5 j; D/ M9 c Z用robot.txt直接禁

我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁止其他一些特殊的ip段，所以才有这个疑问，怕其他的也没有效果

davidc · 发表于 2015-4-20 00:49:09

123jj 发表于 2015-4-20 00:227 C; r7 \% s0 _* q& c. _
我知道可以用robots.txt，还能用一段php代码禁止，但是我想的是用iptables为什么禁止不了，因为我还要禁 ...

蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

123jj · 发表于 2015-4-20 00:57:33

本帖最后由 123jj 于 2015-4-20 00:58 编辑

davidc 发表于 2015-4-20 00:49; T# Y( _8 s( e+ d$ ^" M. b' D; k
蜘蛛不可能只有一个ip段的,要不做cloaking的不都乐疯了.

谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对那个ip段不起作用，而刚好那个ip段是百度蜘蛛，用iptables 屏蔽了还能统计得到。

河小马 · 发表于 2015-4-20 01:49:10

123jj 发表于 2015-4-20 00:576 I% p$ x4 u) s- Q
谢谢，我不是要屏蔽所有蜘蛛，是想知道为什么那句 iptables 规则为什么对那个ip段不起作用，而刚好那个ip ...

那你确定蜘蛛来自于这个段？

sanp · 发表于 2015-4-20 10:12:25

iptables保存了没？
再执行一下这个命令 iptables-save 看看

123jj · 发表于 2015-4-20 15:36:39

河小马发表于 2015-4-20 01:49& u: M* Y; [; t" Y
那你确定蜘蛛来自于这个段？

是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到

类似的该段ip一堆一堆的

iptables是不是屏蔽不了蜘蛛，bot类的ip？这是比较疑惑的地方

123jj · 发表于 2015-4-20 15:38:07

sanp 发表于 2015-4-20 10:12
& c7 h+ f0 d, ~ x+ \7 _7 |2 Liptables保存了没？
. J4 a$ i2 @6 x6 n; B再执行一下这个命令 iptables-save 看看

应该没问题，执行 iptables --list 可以看到

河小马 · 发表于 2015-4-20 20:13:10

123jj 发表于 2015-4-20 15:36# K+ Q. A( n+ \3 c. e: |5 I/ F
是啊，这个段是百度蜘蛛的其中一个段，我用iptables屏蔽了这个段，还能统计得到

iptables 还是很准的

我现在都是直接用csf了

iptables 的命令都忘的差不多了

你不彷安装个csf 来处理ban ip的问题

123jj · 发表于 2015-4-20 23:09:37

河小马发表于 2015-4-20 20:13( f. Q+ _' o) @" I. A% @4 F
iptables 还是很准的* ~2 G1 ~* I( l
; n% _) s, V1 D( ^( |0 [+ L
我现在都是直接用csf了

谢谢，我去试试

显示全部楼层 · 发表于 2015-4-21 13:44:26

百度蜘蛛很多ip段的吧

foxconndmd · 发表于 2015-4-23 15:01:29

1.IP段非123.125.71.0/24
2.drop上有accept,iptables规则顺序执行遇到匹配的不再向下匹配

		自动登录	找回密码
密码			立即注册

Google-Bing-Mediago-Criteo开户	⚡️按条S5代理⚡️静态⚡️独享⚡️5G	广告专用虚拟卡/U充值/高返点	皇家代理IP⚡️#1性价比⚡️
Mediabuy⚡️玩家开户首选	【鲁班跨境通-自助充值转账】	FB/GG/TT❤️官方免费开户	Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理	*开户投流-724h❤️人工在线**	【官方】❤️搜索套利买量投流开户	独立站⚡️开户投放
⚡️AdsPower:安全不封号,高效自动化	Google FB TK游戏代投	⚡️E.PN 虚拟卡⚡️	BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具	ADPLEXITY + ADVERTCN	7200W全球动态不重复住宅IP代理	虚拟信用卡+独立站收款
全球虚拟卡, 支持U充值	各种主页、账单户、BM户（优势）	⚡️TikTok企业户，bm户，账单户	IPCola原生住宅IP⚡️$1.8/条双ISP
FB海外户、GG老户、TK加白老户	PTM虚拟卡[全新卡BIN+高返点]	FB虚拟卡⚡️消费越多返现越多	最大欧洲Nutra网盟BA找量
高品质·稳定高速纯净IP	FB个号1块一个	TikTok2审户/老户/国内外端口/加白	SX.ORG 高质量代理⚡235+ 地区
GG,FB,TK, 欧美源头, 欢迎合作❤️	跨境债务催收/风险代理	高权重Google老户[卖户+筛户等级]	海外斗篷・智能广告过审率高达 99%
DataImpulse⚡️纯净住宅代理仅 $1	FB企业户海外户,授信户,TK加白户	广告位出租	8500万高质量住宅IP，助力各种需求
虚拟卡返佣1%，国内持牌机构

[讨论] iptables 禁止了百度蜘蛛，为什么还能爬我的站？

点评

点评

点评

点评

点评

点评

本帖子中包含更多资源

点评

点评

社区QQ达人