如何提取google搜索结果里，目标网页的URL？

whois360

用google搜索，想提取目标网页的URL（10w个），有什么工具吗？
5 K- T3 Z' ?7 T+ @
, }9 W% u3 Q" h0 ~; N0 b

lhelhm

具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么

whois360

lhelhm 发表于 2013-6-4 13:10
2 I3 i6 Y& x( E  ?具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么

抱歉，可能没说清楚。
  Z/ {9 l" V" g9 h! N; d
6 v$ R- h8 ^- n* N5 g  U3 d" U要搜集结果页那些网站的URL

比如搜索“中国”


要搜集的内容就是：
http://zh.wikipedia.org/zh/中国
http://baike.baidu.com/view/61891.htm
http://www.baike.com/wiki/中国
http://china.huanqiu.com/
( X, S& v$ \$ u7 {' r" ]http://world.people.com.cn/GB/57506/190965/
( e" F* D3 S3 i. _2 [  v  b0 H……
; y8 B& l5 ]2 B# e7 f$ q/ N……
3 |4 K0 \  R7 m- U……

lhelhm

Scrape Sonic
GetFromGoogle
1 T# \; n; T2 z1 R- D. h这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘了

yoo

我以前曾经编过一个程序，从Google的搜索结果里提取网址。
因为GG搜索结果有着一定的规律，这些URL在包含在GG的连接里，分析提取出来并不难。如果要大量提取，难点在于自动搜索时，还没有搜索几次Google就让输入验证码，这时就无法进行下一次搜索了。

whois360

lhelhm 发表于 2013-6-4 13:26
Scrape Sonic
$ i4 a  n2 v# v5 ZGetFromGoogle
0 j. Q" k0 n: I& E/ b$ s这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘 ...

! q/ L2 L- x9 A6 v* D1 d3 r多谢！                    
% z& S- u; G: ^
/ [1 O4 Q9 F- _7 e6 u5 g# }) N

whois360

yoo 发表于 2013-6-4 13:30
* a# Q& t# z# w我以前曾经编过一个程序，从Google的搜索结果里提取网址。
* L! {  s7 b5 J6 L# L$ y* s因为GG搜索结果有着一定的规律，这些URL在包含在 ...

嗯
; l9 P: v1 \1 y/ \: l
' l# w8 _% e( p: _数据有10万条，估计翻几页就要输入验证码了

qiqinjun

不知道可不可以，去试试google的搜索API

生鱼片

现在不好使 搜索几页后 就会让你输验证码

billy

google不行，换其他搜索引擎吧。
/ {3 |9 `; S! q" W8 F8 A" p% l以前也有过类似的采集，开始采集的bing，后来采集的有道搜索，基本上不会挂。
现在具体情况不清楚了。

whois360

billy 发表于 2013-6-4 13:52
' z" d0 R0 ^5 x% fgoogle不行，换其他搜索引擎吧。
3 T5 L1 |" u4 q, y; \& k( ^- v以前也有过类似的采集，开始采集的bing，后来采集的有道搜索，基本上不会 ...

% R# ?2 v, w* T1 A其它搜索引擎都没有结果

( E$ `3 p( D# A9 p+ _某网站10万个会员的邮箱
+ L1 d' {" ?% N" \% ?) B1 x7 K" l看来希望渺茫……

sdwzzx

whois360 发表于 2013-6-4 14:00
其它搜索引擎都没有结果
0 f4 `! i/ c( Y9 R2 l
# x2 ~0 @7 R: c! ]+ x- M- j某网站10万个会员的邮箱

楼主搜这邮箱做什么

whois360

sdwzzx 发表于 2013-6-4 14:19
: V/ ~/ l9 ^" B( J, x楼主搜这邮箱做什么

" o# Y8 ?0 f7 z* N# `2 e1 t; f有10万个邮箱 做什么都好

hudba

whois360 发表于 2013-6-4 14:23
) M3 S3 R7 c7 m3 k- |7 ]有10万个邮箱 做什么都好

- O6 L' G; c' h. r; Y% m* w群发搜来的邮箱不会给认为垃圾邮件，封IP吗？

alitraffic

qiqinjun 发表于 2013-6-4 13:37
' i* A5 g2 p" Y" |/ a" U不知道可不可以，去试试google的搜索API

API返回的数量非常有限