Αυτό το άρθρο είναι ένα άρθρο καθρέφτη της αυτόματης μετάφρασης, κάντε κλικ εδώ για να μεταβείτε στο αρχικό άρθρο.

Architect_Programmer_Code Δίκτυο Γεωργίας»Αρχιτέκτονας › Προγραμματισμός › .Net/Γ # › C# Ξύστε και εξάγετε όλες τις μεθόδους υπερσύνδεσης στην ιστοσελίδα
Άποψη: 22625|Απάντηση: 0

[Πηγή] C# Ξύστε και εξάγετε όλες τις μεθόδους υπερσύνδεσης στην ιστοσελίδα

[Αντιγραφή συνδέσμου]
Δημοσιεύτηκε στις 15/7/2015 8:30:08 π.μ. | | |
  1. public class app
  2.     {
  3.         // 获取指定网页的HTML代码
  4.         public static string GetPageSource(string URL)
  5.         {
  6.             Uri uri = new Uri(URL);

  8.             HttpWebRequest hwReq = (HttpWebRequest)WebRequest.Create(uri);
  9.             HttpWebResponse hwRes = (HttpWebResponse)hwReq.GetResponse();

  11.             hwReq.Method = "Get";

  13.             hwReq.KeepAlive = false;

  15.             StreamReader reader = new StreamReader(hwRes.GetResponseStream(), System.Text.Encoding.GetEncoding("GB2312"));

  17.             return reader.ReadToEnd();
  18.         }
  19.         // 提取HTML代码中的网址
  20.         public static ArrayList GetHyperLinks(string htmlCode)
  21.         {
  22.             ArrayList al = new ArrayList();

  24.             string strRegex = @"http://([\w-]+\.)+[\w-]+(/[\w- ./?%&=]*)?";

  26.             Regex r = new Regex(strRegex, RegexOptions.IgnoreCase);
  27.             MatchCollection m = r.Matches(htmlCode);

  29.             for (int i = 0; i <= m.Count - 1; i++)
  30.             {
  31.                 bool rep = false;
  32.                 string strNew = m[i].ToString();

  34.                 // 过滤重复的URL
  35.                 foreach (string str in al)
  36.                 {
  37.                     if (strNew == str)
  38.                     {
  39.                         rep = true;
  40.                         break;
  41.                     }
  42.                 }

  44.                 if (!rep) al.Add(strNew);
  45.             }

  47.             al.Sort();

  49.             return al;
  50.         }
  51.         // 把网址写入xml文件
  52.         public static void WriteToXml(string strURL, ArrayList alHyperLinks)
  53.         {
  54.             XmlTextWriter writer = new XmlTextWriter("HyperLinks.xml", Encoding.UTF8);

  56.             writer.Formatting = Formatting.Indented;
  57.             writer.WriteStartDocument(false);
  58.             writer.WriteDocType("HyperLinks", null, "urls.dtd", null);
  59.             writer.WriteComment("提取自" + strURL + "的超链接");
  60.             writer.WriteStartElement("HyperLinks");
  61.             writer.WriteStartElement("HyperLinks", null);
  62.             writer.WriteAttributeString("DateTime", DateTime.Now.ToString());


  65.             foreach (string str in alHyperLinks)
  66.             {
  67.                 string title = GetDomain(str);
  68.                 string body = str;
  69.                 writer.WriteElementString(title, null, body);
  70.             }

  72.             writer.WriteEndElement();
  73.             writer.WriteEndElement();

  75.             writer.Flush();
  76.             writer.Close();
  77.         }

  79.         // 获取网址的域名后缀
  80.         static string GetDomain(string strURL)
  81.         {
  82.             string retVal;

  84.             string strRegex = @"(\.com/|\.net/|\.cn/|\.org/|\.gov/)";

  86.             Regex r = new Regex(strRegex, RegexOptions.IgnoreCase);
  87.             Match m = r.Match(strURL);
  88.             retVal = m.ToString();

  90.             strRegex = @"\.|/$";
  91.             retVal = Regex.Replace(retVal, strRegex, "").ToString();

  93.             if (retVal == "")
  94.                 retVal = "other";

  96.             return retVal;
  97.         }



  101.     }
Αντιγραφή κώδικα
  1. private void btnkaishi_Click(object sender, EventArgs e)
  2.         {
  3.             string strCode;
  4.             ArrayList alLinks;


  7.             if (txtapi.Text == "")
  8.             {
  9.                 MessageBox.Show("请输入网址");
  10.                 return;
  11.             }
  12.             string strURL = txtapi.Text.ToString().Trim();
  13.             if (strURL.Substring(0, 7) != @"http://")
  14.             {
  15.                 strURL = @"http://" + strURL;
  16.             }
  17.             MessageBox.Show("正在获取页面代码，请稍后...");
  18.             strCode = app.GetPageSource(strURL);
  19.             MessageBox.Show("正在提取超链接，请稍侯...");
  20.             alLinks = app.GetHyperLinks(strCode);
  21.             MessageBox.Show("正在写入文件，请稍侯...");
  22.             app.WriteToXml(strURL, alLinks);

  24.         }
Αντιγραφή κώδικα






Προηγούμενος:Η C# εξάγει τον χαρακτήρα συμβολοσειράς στη μέθοδο εγγράφου txt
Επόμενος:[Πρωτότυπο] Λήψη Baidu Active Push Tool v2.0

σχετικές αναρτήσεις
Αποκήρυξη:
Όλο το λογισμικό, το υλικό προγραμματισμού ή τα άρθρα που δημοσιεύονται από το Code Farmer Network προορίζονται μόνο για μαθησιακούς και ερευνητικούς σκοπούς. Το παραπάνω περιεχόμενο δεν θα χρησιμοποιηθεί για εμπορικούς ή παράνομους σκοπούς, άλλως οι χρήστες θα υποστούν όλες τις συνέπειες. Οι πληροφορίες σε αυτόν τον ιστότοπο προέρχονται από το Διαδίκτυο και οι διαφορές πνευματικών δικαιωμάτων δεν έχουν καμία σχέση με αυτόν τον ιστότοπο. Πρέπει να διαγράψετε εντελώς το παραπάνω περιεχόμενο από τον υπολογιστή σας εντός 24 ωρών από τη λήψη. Εάν σας αρέσει το πρόγραμμα, υποστηρίξτε γνήσιο λογισμικό, αγοράστε εγγραφή και λάβετε καλύτερες γνήσιες υπηρεσίες. Εάν υπάρχει οποιαδήποτε παραβίαση, επικοινωνήστε μαζί μας μέσω email.
Mail To:help@itsvse.com