Dieser Artikel ist ein Spiegelartikel der maschinellen Übersetzung, bitte klicken Sie hier, um zum Originalartikel zu springen.

Architect_Programmer_Code Landwirtschaftsnetzwerk»Architekt › Programmieren › .Net/C # › C# Scrape und exportiere alle Hyperlink-Methoden auf der Webseite
Ansehen: 22625|Antwort: 0

[Quelle] C# Scrape und exportiere alle Hyperlink-Methoden auf der Webseite

[Link kopieren]
Veröffentlicht am 15.07.2015 08:30:08 | | |
  1. public class app
  2.     {
  3.         // 获取指定网页的HTML代码
  4.         public static string GetPageSource(string URL)
  5.         {
  6.             Uri uri = new Uri(URL);

  8.             HttpWebRequest hwReq = (HttpWebRequest)WebRequest.Create(uri);
  9.             HttpWebResponse hwRes = (HttpWebResponse)hwReq.GetResponse();

  11.             hwReq.Method = "Get";

  13.             hwReq.KeepAlive = false;

  15.             StreamReader reader = new StreamReader(hwRes.GetResponseStream(), System.Text.Encoding.GetEncoding("GB2312"));

  17.             return reader.ReadToEnd();
  18.         }
  19.         // 提取HTML代码中的网址
  20.         public static ArrayList GetHyperLinks(string htmlCode)
  21.         {
  22.             ArrayList al = new ArrayList();

  24.             string strRegex = @"http://([\w-]+\.)+[\w-]+(/[\w- ./?%&=]*)?";

  26.             Regex r = new Regex(strRegex, RegexOptions.IgnoreCase);
  27.             MatchCollection m = r.Matches(htmlCode);

  29.             for (int i = 0; i <= m.Count - 1; i++)
  30.             {
  31.                 bool rep = false;
  32.                 string strNew = m[i].ToString();

  34.                 // 过滤重复的URL
  35.                 foreach (string str in al)
  36.                 {
  37.                     if (strNew == str)
  38.                     {
  39.                         rep = true;
  40.                         break;
  41.                     }
  42.                 }

  44.                 if (!rep) al.Add(strNew);
  45.             }

  47.             al.Sort();

  49.             return al;
  50.         }
  51.         // 把网址写入xml文件
  52.         public static void WriteToXml(string strURL, ArrayList alHyperLinks)
  53.         {
  54.             XmlTextWriter writer = new XmlTextWriter("HyperLinks.xml", Encoding.UTF8);

  56.             writer.Formatting = Formatting.Indented;
  57.             writer.WriteStartDocument(false);
  58.             writer.WriteDocType("HyperLinks", null, "urls.dtd", null);
  59.             writer.WriteComment("提取自" + strURL + "的超链接");
  60.             writer.WriteStartElement("HyperLinks");
  61.             writer.WriteStartElement("HyperLinks", null);
  62.             writer.WriteAttributeString("DateTime", DateTime.Now.ToString());


  65.             foreach (string str in alHyperLinks)
  66.             {
  67.                 string title = GetDomain(str);
  68.                 string body = str;
  69.                 writer.WriteElementString(title, null, body);
  70.             }

  72.             writer.WriteEndElement();
  73.             writer.WriteEndElement();

  75.             writer.Flush();
  76.             writer.Close();
  77.         }

  79.         // 获取网址的域名后缀
  80.         static string GetDomain(string strURL)
  81.         {
  82.             string retVal;

  84.             string strRegex = @"(\.com/|\.net/|\.cn/|\.org/|\.gov/)";

  86.             Regex r = new Regex(strRegex, RegexOptions.IgnoreCase);
  87.             Match m = r.Match(strURL);
  88.             retVal = m.ToString();

  90.             strRegex = @"\.|/$";
  91.             retVal = Regex.Replace(retVal, strRegex, "").ToString();

  93.             if (retVal == "")
  94.                 retVal = "other";

  96.             return retVal;
  97.         }



  101.     }
Code kopieren
  1. private void btnkaishi_Click(object sender, EventArgs e)
  2.         {
  3.             string strCode;
  4.             ArrayList alLinks;


  7.             if (txtapi.Text == "")
  8.             {
  9.                 MessageBox.Show("请输入网址");
  10.                 return;
  11.             }
  12.             string strURL = txtapi.Text.ToString().Trim();
  13.             if (strURL.Substring(0, 7) != @"http://")
  14.             {
  15.                 strURL = @"http://" + strURL;
  16.             }
  17.             MessageBox.Show("正在获取页面代码，请稍后...");
  18.             strCode = app.GetPageSource(strURL);
  19.             MessageBox.Show("正在提取超链接，请稍侯...");
  20.             alLinks = app.GetHyperLinks(strCode);
  21.             MessageBox.Show("正在写入文件，请稍侯...");
  22.             app.WriteToXml(strURL, alLinks);

  24.         }
Code kopieren






Vorhergehend:C# exportiert das Zeichenkettenzeichen in die txt-Dokument-Methode
Nächster:[Original] Baidu Active Push Tool v2.0 Download

Verwandte Beiträge
Verzichtserklärung:
Alle von Code Farmer Network veröffentlichten Software, Programmiermaterialien oder Artikel dienen ausschließlich Lern- und Forschungszwecken; Die oben genannten Inhalte dürfen nicht für kommerzielle oder illegale Zwecke verwendet werden, andernfalls tragen die Nutzer alle Konsequenzen. Die Informationen auf dieser Seite stammen aus dem Internet, und Urheberrechtsstreitigkeiten haben nichts mit dieser Seite zu tun. Sie müssen die oben genannten Inhalte innerhalb von 24 Stunden nach dem Download vollständig von Ihrem Computer löschen. Wenn Ihnen das Programm gefällt, unterstützen Sie bitte echte Software, kaufen Sie die Registrierung und erhalten Sie bessere echte Dienstleistungen. Falls es eine Verletzung gibt, kontaktieren Sie uns bitte per E-Mail.
Mail To:help@itsvse.com