|
|
本帖最后由 finder 于 2014-12-28 15:24 编辑 / k' R( p7 g7 h7 Y7 s, u( B
+ r: }6 i8 a* W! Z 以前自己写过一个采集阿里巴巴商家email，电话，公司名称和职位的一个爬虫程序。感觉这个邮件采集程序的原理和我原来采用的一样，都是采用多线程，发起httpget请求，对返回结果用正则表达式匹配href，和自己需要找的邮件，电话啥的。然后再以这个href List为基础继续发起http get请求，如此，循环。则可以爬遍整个互联网。这是小弟自己的看法，望大神多多指点！
. }+ z) t7 Q% q( S6 g+ n2 P0 E: B! T0 W' F
email_spider是使用比较多的一个邮箱采集程序。官方网址是：- http://email.spider.gsa-online.de/
程序的功能包括：' I( }; X! h, B) P* a+ S
•从起始网站提取电子邮件
# Y- \( L5 W+ H7 r9 F7 k•除了电子邮件采集，电话和传真号码，您可以搜索0 J* [# Z: Q1 _* }2 {
•自动化发送电子邮件到您的新客户' r7 ?+ P# L0 y4 G$ I
•收获电子邮件与搜索引擎的帮助下（300+包括）% `$ l! d5 l% H# B. O
•支持HTTPS网站 V" x% \- c7 {2 L
•支持SSL唯一的电子邮件服务提供商（如谷歌邮件）
" P1 m" R; i/ H•内部SNMP服务器直接发送电子邮件% v) B+ p. w& [
•JavaScript的分析，找出保护的电子邮件地址5 G7 H- ?2 _. c8 O2 t
保护•反蜘蛛引擎（例如随机用户代理）
6 y% w4 c i, L n•收集电子邮件，它们的附加数据（如地址）3 n: N' R4 X& u) L( u. E
•许多过滤器只能提取你想要的电子邮件. Q- D3 y0 B9 p: ?0 ^5 _
•非常快的处理（100个线程，你可以很容易地提取500个新邮件一分钟）% z9 i* n8 T% c8 w) S: h
•多语言支持（现在的英语和德语）
" z: x4 A [9 G, @. L3 j! g7 I, N& l: C" G6 T
( h! m3 o- c8 m4 K0 f* V( B 这次分享的 email_spider是V5.3的crack版本，也几乎包含了上边所有的功能，可以从指定网址开始收集，也可以输入关键字收集，我在虚拟机中跑了一天，收集了大量的email。我用的虚拟机的配置是521M内存的，如果分配的大，可能获取的更多。如果想要收集更多，可以在多台vps上跑。
3 [2 |& |, s/ l, F. s/ ^ B/ }0 v7 \8 H1 m/ G4 X
( h7 i) I) L- i( ~8 m 程序跑起来比较稳定：
. z! M9 ~0 g' m; ~7 ], _" k& n+ X 9 j4 a+ I7 O9 p' k9 X
! q: G6 `8 K4 K
程序安装步骤：
; ~, J3 A7 X' i" r% {$ S2 ~; ?8 x1) 添加如下内容到hots文件中( F( q- t0 F3 Y2 V
7 H' J9 o9 ~; @& v3 h
127.0.0.1 www.findsoftware.eu" M, z2 _; Y7 N; M4 g9 R
127.0.0.1 findsoftware.eu
- E+ o/ y- G- Y7 I" @5 ~127.0.0.1 www.rostock-schwarz.de; t: ~1 g2 J1 }" A( D* i1 ~
127.0.0.1 rostock-schwarz.de% ?& R3 T6 q; ~& p5 a
127.0.0.1 www.gsa-online.de7 `% ?7 f* L$ ]% v1 K9 F" ?6 c
127.0.0.1 gsa-online.de7 N, r1 ]9 E$ }0 r9 F6 w. J
4 V- w) w% R2 P5 a4 b
0 g0 D' {7 h- L9 C, `6 x' Y! U8 p2)执行 email_spider.exe
. F$ B3 [7 N8 o) [* R3 d+ z) N1 L Q% F Y/ W. c$ z' N
* P! m5 E6 p6 N; [
3) 要求注册时，输入用户名和密码。
% o4 w- V7 X0 _0 S8 _ ^, T4 T7 ^9 W2 }6 M' f% K, q
Your license name is: MKDEV TEAM
5 g6 J7 g( n P- ?" u) y( j- ~Your license code is: L1E1-1437-I93N-L1KL
, C0 e$ F. R: {7 Y( n
3 \/ @: T5 ]5 p- \) D4 V f) |& {9 A9 y1 {* Z
另外附一个收集来的emailList.见附件。
. x$ T( ^* y4 ~程序下载地址：- http://pan.baidu.com/share/link?shareid=4049923560&uk=3825420230
+ e" U5 a' V; `' g
! N0 p1 `6 |: p( U9 C! e! e |
本帖子中包含更多资源
您需要 登录 才可以下载或查看，没有账号？立即注册
x
评分
-
查看全部评分
|
发表于 2013-8-22 09:49:57
发表于 2013-8-22 10:01:37
楼主
,why do say like this?
发表于 2013-8-22 10:10:51
发表于 2016-3-10 10:18:36