This article is a mirror article of machine translation, please click here to jump to the original article.

Architect_Programmer_Code Agriculture Network»Architect › Programming › .Net/C # › C# Scrape and export all hyperlink methods in the web page
View: 22625|Reply: 0

[Source] C# Scrape and export all hyperlink methods in the web page

[Copy link]
Posted on 7/15/2015 8:30:08 AM | | |
  1. public class app
  2.     {
  3.         // 获取指定网页的HTML代码
  4.         public static string GetPageSource(string URL)
  5.         {
  6.             Uri uri = new Uri(URL);

  8.             HttpWebRequest hwReq = (HttpWebRequest)WebRequest.Create(uri);
  9.             HttpWebResponse hwRes = (HttpWebResponse)hwReq.GetResponse();

  11.             hwReq.Method = "Get";

  13.             hwReq.KeepAlive = false;

  15.             StreamReader reader = new StreamReader(hwRes.GetResponseStream(), System.Text.Encoding.GetEncoding("GB2312"));

  17.             return reader.ReadToEnd();
  18.         }
  19.         // 提取HTML代码中的网址
  20.         public static ArrayList GetHyperLinks(string htmlCode)
  21.         {
  22.             ArrayList al = new ArrayList();

  24.             string strRegex = @"http://([\w-]+\.)+[\w-]+(/[\w- ./?%&=]*)?";

  26.             Regex r = new Regex(strRegex, RegexOptions.IgnoreCase);
  27.             MatchCollection m = r.Matches(htmlCode);

  29.             for (int i = 0; i <= m.Count - 1; i++)
  30.             {
  31.                 bool rep = false;
  32.                 string strNew = m[i].ToString();

  34.                 // 过滤重复的URL
  35.                 foreach (string str in al)
  36.                 {
  37.                     if (strNew == str)
  38.                     {
  39.                         rep = true;
  40.                         break;
  41.                     }
  42.                 }

  44.                 if (!rep) al.Add(strNew);
  45.             }

  47.             al.Sort();

  49.             return al;
  50.         }
  51.         // 把网址写入xml文件
  52.         public static void WriteToXml(string strURL, ArrayList alHyperLinks)
  53.         {
  54.             XmlTextWriter writer = new XmlTextWriter("HyperLinks.xml", Encoding.UTF8);

  56.             writer.Formatting = Formatting.Indented;
  57.             writer.WriteStartDocument(false);
  58.             writer.WriteDocType("HyperLinks", null, "urls.dtd", null);
  59.             writer.WriteComment("提取自" + strURL + "的超链接");
  60.             writer.WriteStartElement("HyperLinks");
  61.             writer.WriteStartElement("HyperLinks", null);
  62.             writer.WriteAttributeString("DateTime", DateTime.Now.ToString());


  65.             foreach (string str in alHyperLinks)
  66.             {
  67.                 string title = GetDomain(str);
  68.                 string body = str;
  69.                 writer.WriteElementString(title, null, body);
  70.             }

  72.             writer.WriteEndElement();
  73.             writer.WriteEndElement();

  75.             writer.Flush();
  76.             writer.Close();
  77.         }

  79.         // 获取网址的域名后缀
  80.         static string GetDomain(string strURL)
  81.         {
  82.             string retVal;

  84.             string strRegex = @"(\.com/|\.net/|\.cn/|\.org/|\.gov/)";

  86.             Regex r = new Regex(strRegex, RegexOptions.IgnoreCase);
  87.             Match m = r.Match(strURL);
  88.             retVal = m.ToString();

  90.             strRegex = @"\.|/$";
  91.             retVal = Regex.Replace(retVal, strRegex, "").ToString();

  93.             if (retVal == "")
  94.                 retVal = "other";

  96.             return retVal;
  97.         }



  101.     }
Copy code
  1. private void btnkaishi_Click(object sender, EventArgs e)
  2.         {
  3.             string strCode;
  4.             ArrayList alLinks;


  7.             if (txtapi.Text == "")
  8.             {
  9.                 MessageBox.Show("请输入网址");
  10.                 return;
  11.             }
  12.             string strURL = txtapi.Text.ToString().Trim();
  13.             if (strURL.Substring(0, 7) != @"http://")
  14.             {
  15.                 strURL = @"http://" + strURL;
  16.             }
  17.             MessageBox.Show("正在获取页面代码，请稍后...");
  18.             strCode = app.GetPageSource(strURL);
  19.             MessageBox.Show("正在提取超链接，请稍侯...");
  20.             alLinks = app.GetHyperLinks(strCode);
  21.             MessageBox.Show("正在写入文件，请稍侯...");
  22.             app.WriteToXml(strURL, alLinks);

  24.         }
Copy code






Previous:C# exports the string character to the txt document method
Next:[Original] Baidu Active Push Tool v2.0 Download

Related Posts
Disclaimer:
All software, programming materials or articles published by Code Farmer Network are only for learning and research purposes; The above content shall not be used for commercial or illegal purposes, otherwise, users shall bear all consequences. The information on this site comes from the Internet, and copyright disputes have nothing to do with this site. You must completely delete the above content from your computer within 24 hours of downloading. If you like the program, please support genuine software, purchase registration, and get better genuine services. If there is any infringement, please contact us by email.
Mail To:help@itsvse.com