Тази статия е огледална статия за машинен превод, моля, кликнете тук, за да преминете към оригиналната статия.

Architect_Programmer_Code Селскостопанска мрежа»Архитект › Програмен › .Net/C # › C# Скрейпване и експортиране на всички методи за хипервръзки в уеб страницата
Изглед: 22625|Отговор: 0

[Източник] C# Скрейпване и експортиране на всички методи за хипервръзки в уеб страницата

[Копирай линк]
Публикувано в 15.07.2015 г. 8:30:08 ч. | | |
  1. public class app
  2.     {
  3.         // 获取指定网页的HTML代码
  4.         public static string GetPageSource(string URL)
  5.         {
  6.             Uri uri = new Uri(URL);

  8.             HttpWebRequest hwReq = (HttpWebRequest)WebRequest.Create(uri);
  9.             HttpWebResponse hwRes = (HttpWebResponse)hwReq.GetResponse();

  11.             hwReq.Method = "Get";

  13.             hwReq.KeepAlive = false;

  15.             StreamReader reader = new StreamReader(hwRes.GetResponseStream(), System.Text.Encoding.GetEncoding("GB2312"));

  17.             return reader.ReadToEnd();
  18.         }
  19.         // 提取HTML代码中的网址
  20.         public static ArrayList GetHyperLinks(string htmlCode)
  21.         {
  22.             ArrayList al = new ArrayList();

  24.             string strRegex = @"http://([\w-]+\.)+[\w-]+(/[\w- ./?%&=]*)?";

  26.             Regex r = new Regex(strRegex, RegexOptions.IgnoreCase);
  27.             MatchCollection m = r.Matches(htmlCode);

  29.             for (int i = 0; i <= m.Count - 1; i++)
  30.             {
  31.                 bool rep = false;
  32.                 string strNew = m[i].ToString();

  34.                 // 过滤重复的URL
  35.                 foreach (string str in al)
  36.                 {
  37.                     if (strNew == str)
  38.                     {
  39.                         rep = true;
  40.                         break;
  41.                     }
  42.                 }

  44.                 if (!rep) al.Add(strNew);
  45.             }

  47.             al.Sort();

  49.             return al;
  50.         }
  51.         // 把网址写入xml文件
  52.         public static void WriteToXml(string strURL, ArrayList alHyperLinks)
  53.         {
  54.             XmlTextWriter writer = new XmlTextWriter("HyperLinks.xml", Encoding.UTF8);

  56.             writer.Formatting = Formatting.Indented;
  57.             writer.WriteStartDocument(false);
  58.             writer.WriteDocType("HyperLinks", null, "urls.dtd", null);
  59.             writer.WriteComment("提取自" + strURL + "的超链接");
  60.             writer.WriteStartElement("HyperLinks");
  61.             writer.WriteStartElement("HyperLinks", null);
  62.             writer.WriteAttributeString("DateTime", DateTime.Now.ToString());


  65.             foreach (string str in alHyperLinks)
  66.             {
  67.                 string title = GetDomain(str);
  68.                 string body = str;
  69.                 writer.WriteElementString(title, null, body);
  70.             }

  72.             writer.WriteEndElement();
  73.             writer.WriteEndElement();

  75.             writer.Flush();
  76.             writer.Close();
  77.         }

  79.         // 获取网址的域名后缀
  80.         static string GetDomain(string strURL)
  81.         {
  82.             string retVal;

  84.             string strRegex = @"(\.com/|\.net/|\.cn/|\.org/|\.gov/)";

  86.             Regex r = new Regex(strRegex, RegexOptions.IgnoreCase);
  87.             Match m = r.Match(strURL);
  88.             retVal = m.ToString();

  90.             strRegex = @"\.|/$";
  91.             retVal = Regex.Replace(retVal, strRegex, "").ToString();

  93.             if (retVal == "")
  94.                 retVal = "other";

  96.             return retVal;
  97.         }



  101.     }
Копирай код
  1. private void btnkaishi_Click(object sender, EventArgs e)
  2.         {
  3.             string strCode;
  4.             ArrayList alLinks;


  7.             if (txtapi.Text == "")
  8.             {
  9.                 MessageBox.Show("请输入网址");
  10.                 return;
  11.             }
  12.             string strURL = txtapi.Text.ToString().Trim();
  13.             if (strURL.Substring(0, 7) != @"http://")
  14.             {
  15.                 strURL = @"http://" + strURL;
  16.             }
  17.             MessageBox.Show("正在获取页面代码，请稍后...");
  18.             strCode = app.GetPageSource(strURL);
  19.             MessageBox.Show("正在提取超链接，请稍侯...");
  20.             alLinks = app.GetHyperLinks(strCode);
  21.             MessageBox.Show("正在写入文件，请稍侯...");
  22.             app.WriteToXml(strURL, alLinks);

  24.         }
Копирай код






Предишен:C# експортира низовия символ към метода txt document
Следващ:[Оригинал] Baidu Active Push Tool v2.0 Изтегляне

Свързани публикации
Отричане:
Целият софтуер, програмни материали или статии, публикувани от Code Farmer Network, са само за учебни и изследователски цели; Горното съдържание не трябва да се използва за търговски или незаконни цели, в противен случай потребителите ще понесат всички последствия. Информацията на този сайт идва от интернет, а споровете за авторски права нямат нищо общо с този сайт. Трябва напълно да изтриете горното съдържание от компютъра си в рамките на 24 часа след изтеглянето. Ако ви харесва програмата, моля, подкрепете оригинален софтуер, купете регистрация и получете по-добри услуги. Ако има нарушение, моля, свържете се с нас по имейл.
Mail To:help@itsvse.com