Dit artikel is een spiegelartikel van machinevertaling, klik hier om naar het oorspronkelijke artikel te gaan.

Architect_Programmer_Code Landbouwnetwerk»Architect › Programmeren › .Net/C # › C# Schraap en exporteer alle hyperlinkmethoden op de webpagina
Bekijken: 22625|Antwoord: 0

[Bron] C# Schraap en exporteer alle hyperlinkmethoden op de webpagina

[Link kopiëren]
Geplaatst op 15-07-2015 08:30:08 | | |
  1. public class app
  2.     {
  3.         // 获取指定网页的HTML代码
  4.         public static string GetPageSource(string URL)
  5.         {
  6.             Uri uri = new Uri(URL);

  8.             HttpWebRequest hwReq = (HttpWebRequest)WebRequest.Create(uri);
  9.             HttpWebResponse hwRes = (HttpWebResponse)hwReq.GetResponse();

  11.             hwReq.Method = "Get";

  13.             hwReq.KeepAlive = false;

  15.             StreamReader reader = new StreamReader(hwRes.GetResponseStream(), System.Text.Encoding.GetEncoding("GB2312"));

  17.             return reader.ReadToEnd();
  18.         }
  19.         // 提取HTML代码中的网址
  20.         public static ArrayList GetHyperLinks(string htmlCode)
  21.         {
  22.             ArrayList al = new ArrayList();

  24.             string strRegex = @"http://([\w-]+\.)+[\w-]+(/[\w- ./?%&=]*)?";

  26.             Regex r = new Regex(strRegex, RegexOptions.IgnoreCase);
  27.             MatchCollection m = r.Matches(htmlCode);

  29.             for (int i = 0; i <= m.Count - 1; i++)
  30.             {
  31.                 bool rep = false;
  32.                 string strNew = m[i].ToString();

  34.                 // 过滤重复的URL
  35.                 foreach (string str in al)
  36.                 {
  37.                     if (strNew == str)
  38.                     {
  39.                         rep = true;
  40.                         break;
  41.                     }
  42.                 }

  44.                 if (!rep) al.Add(strNew);
  45.             }

  47.             al.Sort();

  49.             return al;
  50.         }
  51.         // 把网址写入xml文件
  52.         public static void WriteToXml(string strURL, ArrayList alHyperLinks)
  53.         {
  54.             XmlTextWriter writer = new XmlTextWriter("HyperLinks.xml", Encoding.UTF8);

  56.             writer.Formatting = Formatting.Indented;
  57.             writer.WriteStartDocument(false);
  58.             writer.WriteDocType("HyperLinks", null, "urls.dtd", null);
  59.             writer.WriteComment("提取自" + strURL + "的超链接");
  60.             writer.WriteStartElement("HyperLinks");
  61.             writer.WriteStartElement("HyperLinks", null);
  62.             writer.WriteAttributeString("DateTime", DateTime.Now.ToString());


  65.             foreach (string str in alHyperLinks)
  66.             {
  67.                 string title = GetDomain(str);
  68.                 string body = str;
  69.                 writer.WriteElementString(title, null, body);
  70.             }

  72.             writer.WriteEndElement();
  73.             writer.WriteEndElement();

  75.             writer.Flush();
  76.             writer.Close();
  77.         }

  79.         // 获取网址的域名后缀
  80.         static string GetDomain(string strURL)
  81.         {
  82.             string retVal;

  84.             string strRegex = @"(\.com/|\.net/|\.cn/|\.org/|\.gov/)";

  86.             Regex r = new Regex(strRegex, RegexOptions.IgnoreCase);
  87.             Match m = r.Match(strURL);
  88.             retVal = m.ToString();

  90.             strRegex = @"\.|/$";
  91.             retVal = Regex.Replace(retVal, strRegex, "").ToString();

  93.             if (retVal == "")
  94.                 retVal = "other";

  96.             return retVal;
  97.         }



  101.     }
Code kopiëren
  1. private void btnkaishi_Click(object sender, EventArgs e)
  2.         {
  3.             string strCode;
  4.             ArrayList alLinks;


  7.             if (txtapi.Text == "")
  8.             {
  9.                 MessageBox.Show("请输入网址");
  10.                 return;
  11.             }
  12.             string strURL = txtapi.Text.ToString().Trim();
  13.             if (strURL.Substring(0, 7) != @"http://")
  14.             {
  15.                 strURL = @"http://" + strURL;
  16.             }
  17.             MessageBox.Show("正在获取页面代码，请稍后...");
  18.             strCode = app.GetPageSource(strURL);
  19.             MessageBox.Show("正在提取超链接，请稍侯...");
  20.             alLinks = app.GetHyperLinks(strCode);
  21.             MessageBox.Show("正在写入文件，请稍侯...");
  22.             app.WriteToXml(strURL, alLinks);

  24.         }
Code kopiëren






Vorig:C# exporteert het stringteken naar de txt-documentmethode
Volgend:[Origineel] Baidu Active Push Tool v2.0 Download

Gerelateerde berichten
Disclaimer:
Alle software, programmeermaterialen of artikelen die door Code Farmer Network worden gepubliceerd, zijn uitsluitend bedoeld voor leer- en onderzoeksdoeleinden; De bovenstaande inhoud mag niet worden gebruikt voor commerciële of illegale doeleinden, anders dragen gebruikers alle gevolgen. De informatie op deze site komt van het internet, en auteursrechtconflicten hebben niets met deze site te maken. Je moet bovenstaande inhoud volledig van je computer verwijderen binnen 24 uur na het downloaden. Als je het programma leuk vindt, steun dan de echte software, koop registratie en krijg betere echte diensten. Als er sprake is van een inbreuk, neem dan contact met ons op via e-mail.
Mail To:help@itsvse.com