AdvertCN - 广告中国

 找回密码
 立即注册

QQ登录

只需一步,快速开始

PropellerAds
Google-Bing-Mediago-Criteo开户
⚡️按条S5代理⚡️静态⚡️独享⚡️5G广告专用虚拟卡/U充值/高返点皇家代理IP⚡️#1性价比⚡️
Mediabuy⚡️玩家开户首选【鲁班跨境通-自助充值转账】FB/GG/TT❤️官方免费开户Affiliate 全媒体流量资源⚡️
Taboola/Outbrain /Bing⚡️一级代理开户投流-7*24h❤️人工在线【官方】❤️搜索套利买量投流开户独立站⚡️开户投放
⚡️AdsPower:安全不封号,高效自动化Google FB TK游戏代投⚡️E.PN 虚拟卡⚡️BINOM TRACKER 60% OFF!
比Adplexity还好用的Spy工具ADPLEXITY + ADVERTCN7200W全球动态不重复住宅IP代理虚拟信用卡+独立站收款
全球虚拟卡, 支持U充值各种主页、账单户、BM户(优势)⚡️TikTok企业户,bm户,账单户IPCola原生住宅IP⚡️$1.8/条双ISP
FB海外户、GG老户、TK加白老户PTM虚拟卡[全新卡BIN+高返点]FB虚拟卡⚡️消费越多返现越多最大欧洲Nutra网盟BA找量
高品质·稳定高速纯净IP FB个号1块一个TikTok2审户/老户/国内外端口/加白SX.ORG 高质量代理⚡235+ 地区
GG,FB,TK, 欧美源头, 欢迎合作❤️跨境债务催收/风险代理高权重Google老户[卖户+筛户等级] 海外斗篷・智能广告过审率高达 99%
DataImpulse⚡️纯净住宅代理仅 $1FB企业户海外户,授信户,TK加白户广告位出租8500万高质量住宅IP,助力各种需求
虚拟卡返佣1%,国内持牌机构   
查看: 20969|回复: 26

如何提取google搜索结果里,目标网页的URL?

[复制链接]

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
发表于 2013-6-4 13:06:40 | 显示全部楼层 |阅读模式
回复

使用道具 举报

0

主题

0

广告币

38

积分

初级会员

Rank: 2

积分
38

社区QQ达人

发表于 2013-6-4 13:10:11 | 显示全部楼层
具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 13:21:32 | 显示全部楼层
lhelhm 发表于 2013-6-4 13:10
2 I3 i6 Y& x( E  ?具体需求 没明白,是搜索结果搜集(最多1000条) 还是什么
! n5 p  r/ ?- S& B! H2 l3 }" M4 U
抱歉,可能没说清楚。
  Z/ {9 l" V" g9 h! N; d
6 v$ R- h8 ^- n* N5 g  U3 d" U要搜集结果页那些网站的URL; Z( S4 S0 c6 ?
6 |% b% v5 E; Q/ k- L2 _" q8 {
比如搜索“中国”- {) x; Y# G0 X7 E2 C
* m/ w* Z+ ]6 H- }6 j  {
* u6 D$ Z. k) {) f, T7 |
要搜集的内容就是:' P0 O# @1 ]4 g4 `8 B) ?: e; u/ ^
http://zh.wikipedia.org/zh/中国3 b/ J8 [) Z8 W. P$ l
http://baike.baidu.com/view/61891.htm- |0 q% }. W( L4 Z: c
http://www.baike.com/wiki/中国1 D" `# [( R4 X, Q2 F2 j3 r
http://china.huanqiu.com/
( X, S& v$ \$ u7 {' r" ]http://world.people.com.cn/GB/57506/190965/
( e" F* D3 S3 i. _2 [  v  b0 H……
; y8 B& l5 ]2 B# e7 f$ q/ N……
3 |4 K0 \  R7 m- U……' J  f) a# M! v9 @7 Q- X9 }5 E
  g6 i: ^. @, Y& W. H

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复 支持 反对

使用道具 举报

0

主题

0

广告币

38

积分

初级会员

Rank: 2

积分
38

社区QQ达人

发表于 2013-6-4 13:26:54 | 显示全部楼层
Scrape Sonic 9 T; [) H: E3 ~; O7 t. _/ v
GetFromGoogle
1 T# \; n; T2 z1 R- D. h这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘了

点评

这些小软件现在都下载不到了呢。  详情 回复 发表于 2016-3-4 02:43
回复 支持 反对

使用道具 举报

34

主题

4685

广告币

4512

积分

超级版主

Rank: 8Rank: 8

积分
4512
发表于 2013-6-4 13:30:10 | 显示全部楼层
我以前曾经编过一个程序,从Google的搜索结果里提取网址。- a: o+ d& {! y0 C" @
因为GG搜索结果有着一定的规律,这些URL在包含在GG的连接里,分析提取出来并不难。如果要大量提取,难点在于自动搜索时,还没有搜索几次Google就让输入验证码,这时就无法进行下一次搜索了。
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 13:32:54 | 显示全部楼层
lhelhm 发表于 2013-6-4 13:26 2 H2 u3 F4 ]& x. d) t& I; S
Scrape Sonic
$ i4 a  n2 v# v5 ZGetFromGoogle
0 j. Q" k0 n: I& E/ b$ s这些小软件都可以,下不到你也可以搜索谷歌搜刮工具,火狐有个插件好久不用也忘 ...

! q/ L2 L- x9 A6 v* D1 d3 r多谢!                    
% z& S- u; G: ^
/ [1 O4 Q9 F- _7 e6 u5 g# }) N
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 13:33:27 | 显示全部楼层
yoo 发表于 2013-6-4 13:30
* a# Q& t# z# w我以前曾经编过一个程序,从Google的搜索结果里提取网址。
* L! {  s7 b5 J6 L# L$ y* s因为GG搜索结果有着一定的规律,这些URL在包含在 ...
! {3 p' n* @! T; g4 Q8 Y

; l9 P: v1 \1 y/ \: l
' l# w8 _% e( p: _数据有10万条,估计翻几页就要输入验证码了
回复 支持 反对

使用道具 举报

23

主题

1323

广告币

2271

积分

高级会员

Rank: 4

积分
2271

社区QQ达人

发表于 2013-6-4 13:37:54 | 显示全部楼层
不知道可不可以,去试试google的搜索API
回复 支持 反对

使用道具 举报

111

主题

541

广告币

1203

积分

高级会员

Rank: 4

积分
1203

社区QQ达人

发表于 2013-6-4 13:39:40 | 显示全部楼层
现在不好使 搜索几页后 就会让你输验证码
回复 支持 反对

使用道具 举报

33

主题

3363

广告币

6601

积分

超级版主

酱油党

Rank: 8Rank: 8

积分
6601

社区QQ达人

发表于 2013-6-4 13:52:33 | 显示全部楼层
google不行,换其他搜索引擎吧。
/ {3 |9 `; S! q" W8 F8 A" p% l以前也有过类似的采集,开始采集的bing,后来采集的有道搜索,基本上不会挂。9 X6 }3 T* H8 W$ T; y
现在具体情况不清楚了。
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 14:00:04 | 显示全部楼层
billy 发表于 2013-6-4 13:52
' z" d0 R0 ^5 x% fgoogle不行,换其他搜索引擎吧。
3 T5 L1 |" u4 q, y; \& k( ^- v以前也有过类似的采集,开始采集的bing,后来采集的有道搜索,基本上不会 ...

% R# ?2 v, w* T1 A其它搜索引擎都没有结果7 C# h1 z" Z' P* l" W: g! E7 P) n

( E$ `3 p( D# A9 p+ _某网站10万个会员的邮箱
+ L1 d' {" ?% N" \% ?) B1 x7 K" l看来希望渺茫……
回复 支持 反对

使用道具 举报

20

主题

27

广告币

241

积分

初级会员

Rank: 2

积分
241

社区QQ达人

发表于 2013-6-4 14:19:04 | 显示全部楼层
whois360 发表于 2013-6-4 14:00 / g2 {! @2 l" a* m3 Z$ C
其它搜索引擎都没有结果
0 f4 `! i/ c( Y9 R2 l
# x2 ~0 @7 R: c! ]+ x- M- j某网站10万个会员的邮箱
5 V8 E( t4 m4 z# t
楼主搜这邮箱做什么
http://developer.huawei.com/ict/cn
回复 支持 反对

使用道具 举报

6

主题

123

广告币

248

积分

初级会员

Rank: 2

积分
248
 楼主| 发表于 2013-6-4 14:23:03 | 显示全部楼层
sdwzzx 发表于 2013-6-4 14:19
: V/ ~/ l9 ^" B( J, x楼主搜这邮箱做什么

" o# Y8 ?0 f7 z* N# `2 e1 t; f有10万个邮箱 做什么都好
回复 支持 反对

使用道具 举报

44

主题

772

广告币

1423

积分

高级会员

Rank: 4

积分
1423
发表于 2013-6-4 16:05:22 | 显示全部楼层
whois360 发表于 2013-6-4 14:23
) M3 S3 R7 c7 m3 k- |7 ]有10万个邮箱 做什么都好

- O6 L' G; c' h. r; Y% m* w群发搜来的邮箱不会给认为垃圾邮件,封IP吗?
回复 支持 反对

使用道具 举报

19

主题

133

广告币

405

积分

中级会员

Rank: 3Rank: 3

积分
405
发表于 2013-6-4 16:22:02 | 显示全部楼层
qiqinjun 发表于 2013-6-4 13:37
' i* A5 g2 p" Y" |/ a" U不知道可不可以,去试试google的搜索API
+ ^& D; B2 }  g0 a5 l
API返回的数量非常有限
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关于我们|联系我们|DMCA|广告服务|小黑屋|手机版|Archiver|Github|网站地图|AdvertCN

GMT+8, 2026-4-6 17:28 , Processed in 0.057055 second(s), 15 queries , Gzip On, MemCache On.

Copyright © 2001-2023, AdvertCN

Proudly Operating in Hong Kong.

快速回复 返回顶部 返回列表