求推荐一个一键提取网站里面的URL且根据域名去重复的小...

guys

求推荐一个一键提取网站里面的URL且根据域名去重复的小工具
3 [6 p# d0 [1 n: j) ~$ }比如：
. ?6 Z" z2 n4 P! w0 W7 C2 Khttp://a.com/b
3 ]4 Y" s9 a! [! S& Jhttp://a.com/bb.html
$ I+ \% B4 K6 _; C, n  d3 N7 l能自动去重复
  n; j8 x6 R4 R; @8 r- J" Q0 R

李小冲

1. #region 抓取全站链接
   
2.         public static List<string> GetAllHref(string url)
   
3.         {
   
4.             List<string> allHref = new List<string>();
   % ~, f8 E; f( J& F' }
5.             try
   
6.             {
   ! X. d, s9 Q+ c
7.                 string strhtml = soso.getHtml(url, "", true);
   
8.                 if (strhtml != "error")
   7 Z+ u9 }" ^9 Y: s6 a( A
9.                 {
   / b+ n$ d0 s- k8 Y3 E) b7 O$ u5 l
10.                     Regex reg = new Regex(@"(?is)<a[^>]*?href=(['""]?)(?<url>[^'""\s>]+)\1[^>]*>(?<text>(?:(?!</?a\b).)*)</a>");
    
11.                     MatchCollection mc = reg.Matches(strhtml);
    % k; t; t6 b/ k$ N; ?9 v$ H
12.                     foreach (Match m in mc)
    9 w6 N1 S# [, `3 A. o3 b) d5 P4 w
13.                     {
    # C6 z2 s9 R) I0 K
14.                         Uri uri = new Uri(url);
    % X% H# ^8 Q9 U5 X
15.                         Uri thisUri = new Uri(uri, m.Groups["url"].Value);
    
16.                         string fullUrl = "";
    
17.                         if (m.Groups["url"].Value.StartsWith("http"))
    / B$ F8 ^. l# }+ a
18.                         {
      x1 t0 A9 _( I& [
19.                             fullUrl = m.Groups["url"].Value;
    
20.                         }
    
21.                         else
    
22.                         {
    
23.                             fullUrl = thisUri.ToString();
      r9 j- F) H9 P, X; M8 b/ |
24.                         }
    ) i$ [# X. A; m: ^/ d+ A
25.                         allHref.Add(fullUrl);
    
26.                         //Console.WriteLine("原链接：" + m.Groups["url"].Value);
    
27.                         //Console.WriteLine("文本标记：" + m.Groups["text"].Value);
    
28.                         //Console.WriteLine("补全链接：" + fullUrl);
    ) \, D; u! _; F& m
29.                         //Console.WriteLine("…………………………………………");
    
30.                     }
    8 n4 z! l  a3 L0 A  S: d
31.                 }
    
32.             }
    
33.             catch (Exception ex)
    
34.             { }
    
35.             return allHref;
    
36.         }
    
37.         #endregion

复制代码

% K# a; p, f' Q

1. 
   : Z) z! m) l- K7 F% G4 x
2. 
   
3. 
   - u4 J1 Z' y4 C* O
4. #region 数据去重
   
5.         /// <summary>
   
6.         /// List<string>去重
   9 e3 m* [  ]* V/ f% i7 a2 w, }4 d
7.         /// </summary>
   : V& @& d( K. i4 B: m( O% m
8.         /// <param name="list"></param>
   5 x6 J: s/ b! w# R* k
9.         /// <returns></returns>
   
10.         public static List<string> getUnqueList(List<string> list)
    ' ^% r  I" w4 \$ B1 N
11.         {
    
12.             List<string> list1 = new List<string>();
    4 H. G7 r: i3 b7 ~4 O. [( [
13.             Hashtable hash = new Hashtable();
    
14.             foreach (string s in list)
    6 x9 t' e6 r! z) {0 p
15.             {
    5 t. k4 h2 i( \& v
16.                 if (!hash.ContainsKey(s))
    7 W" @# P" }/ A$ |4 [+ ^4 }: l: ~5 @
17.                 {
    1 f- f# U% Q) q* w/ x
18.                     hash.Add(s, s);
    9 ?  V( f% u% p0 ?; ^. u
19.                     list1.Add(s);
    / ~' Y; J9 g  W; f
20.                 }
    
21.             }
    
22.             hash.Clear();
    6 ?! R& z: l+ ~# Q7 m- K
23.             hash = null;
    
24.             return list1;
    ( U+ ~: M3 D" U. S. ^1 d
25.         }
    
26.         #endregion

复制代码

& j# z& k: y' \, t

guys

李小冲 发表于 2016-2-26 16:17

7 Y/ Y6 J6 v6 i3 R: r% N! C+ t十分感谢！！！非常感谢！！

李小冲

guys 发表于 2016-2-26 16:20
十分感谢！！！非常感谢！！

. d# e/ e" v  n! N- T缺少一个gethtml,用下面这个：
! q" Z5 h$ p* \" c8 f

1.      public string getHtml(string url, string charSet, bool UseUTF8CharSet)//url是要访问的网站地址，charSet是目标网页的编码，如果传入的是null或者""，那就自动分析网页的编码
   
2.         {
   
3.             string strWebData = "error";
   & ?! K: Y% S: w- |& v7 M: t* }
4.             try
   
5.             {
   0 Q! ^2 \# P7 Y9 w3 r
6.                 WebClient myWebClient = new WebClient(); //创建WebClient实例myWebClient
   3 J6 X0 P* O  H( k3 o8 {
7.                 // 需要注意的：
   
8.                 //有的网页可能下不下来，有种种原因比如需要cookie,编码问题等等
   1 W) A( ~9 s0 \: w2 w5 p
9.                 //这是就要具体问题具体分析比如在头部加入cookie
   
10.                 // webclient.Headers.Add("Cookie", cookie);
    % G$ P4 |) I. L% `9 p8 M
11.                 //这样可能需要一些重载方法。根据需要写就可以了
    ; |8 t1 U% z7 A
12.                 myWebClient.Headers.Add("User-agent", "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)");
    : e6 [7 C; e# y7 _2 |+ C9 _4 Y% g; d
13.                 //myWebClient.Headers.Add("User-agent", "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)");
    / r+ ^* D: B- E% E2 c
14.                 //获取或设置用于对向 Internet 资源的请求进行身份验证的网络凭据。
    
15.                 myWebClient.Credentials = CredentialCache.DefaultCredentials;
    
16.                 //如果服务器要验证用户名,密码
    . d3 f7 \* Y- V  s5 ?
17.                 //NetworkCredential mycred = new NetworkCredential(struser, strpassword);
    / i" _- t+ l9 }7 \6 ^' J. x: t2 n' W
18.                 //myWebClient.Credentials = mycred;
    + B" G* u1 F+ n, R1 r7 R# p
19.                 //从资源下载数据并返回字节数组。（加@是因为网址中间有"/"符号）
    
20.                 byte[] myDataBuffer = myWebClient.DownloadData(url);
    # @% e$ \( E3 I% b  k) H$ b
21.                 strWebData = Encoding.Default.GetString(myDataBuffer);
    
22. 
    
23.                 //获取网页字符编码描述信息
    
24.                 Match charSetMatch = Regex.Match(strWebData, "<meta([^<]*)charset=([^<]*)"", RegexOptions.IgnoreCase | RegexOptions.Multiline);
    0 u5 G  z5 I; O
25.                 string webCharSet = charSetMatch.Groups[2].Value;
    # n1 m& u5 m9 E. E# k
26.                 if (charSet == null || charSet == "")
    $ h* N  x! U3 ~0 h+ w
27.                     charSet = webCharSet;
    4 h  a- W3 g3 W
28.                 if (charSet.Length > 0)
    ' ^" y1 r( C, s% ^# D5 P
29.                 {
    ) w' C) w, z9 D% q' u
30.                     charSet = charSet.Replace(""", "");
    - E' T2 m( O& G4 g+ A$ Y# ^+ i7 B
31.                 }
    * ~) r1 s8 }+ v* [: t4 K7 x; c; R
32.                 if (UseUTF8CharSet)
    * j+ p( Z* L% f* b
33.                 {
    
34.                     if (charSet == null || charSet.Length == 0)
    
35.                     {
    
36.                         charSet = "utf-8";
    $ e/ g: C4 G4 U, z* S
37.                     }
    
38.                 }
    
39.                 if (charSet != null && charSet != "" && Encoding.GetEncoding(charSet) != Encoding.Default)
    
40.                     strWebData = Encoding.GetEncoding(charSet).GetString(myDataBuffer);
    
41. 
    
42.             }
    
43.             catch (Exception)
    2 B* _9 r4 \8 ]0 l0 a* ^
44.             {
    
45.                 strWebData = "error";
    
46.             }
    
47. 
    . I/ C: a' a! h" `" q2 B
48.             return strWebData;
    8 j2 k2 t. ^: u: |2 ~
49.         }

复制代码

PowcAncn

weishaneweishane