Dieser Artikel ist ein Spiegelartikel der maschinellen Übersetzung, bitte klicken Sie hier, um zum Originalartikel zu springen.

Architect_Programmer_Code Landwirtschaftsnetzwerk»Architekt › Programmieren › Java › Der gerade in Java geschriebene Crawler, der jetzt nur noch Bilder herunterladen kann (Tiefe 1), wird ...
Ansehen: 32261|Antwort: 11

[JavaSE] Der gerade in Java geschriebene Crawler kann jetzt nur noch Bilder herunterladen (Tiefe 1) und wird weitermachen...

[Link kopieren]
Veröffentlicht am 03.06.2015 02:38:12 | | | |
Wie der Titel schon andeutet,

crawler.rar (62.53 KB, Anzahl der Downloads: 5, Verkaufspreis: 2 Getreide MB)




Vorhergehend:Weißt du, welche Webcontainer asp.net hast? Außer IIS
Nächster:Daten deduplizieren und die Sammlung zurückgeben

Verwandte Beiträge
Veröffentlicht am 03.06.2015 21:05:36 |
Einfache Implementierung, die nicht von anderen Paketen abhängt

  1. package test;

  3. import java.io.File;
  4. import java.io.IOException;
  5. import java.io.InputStreamReader;
  6. import java.net.MalformedURLException;
  7. import java.net.URL;
  8. import java.util.regex.Matcher;
  9. import java.util.regex.Pattern;

  11. import javax.imageio.ImageIO;

  13. public class Test {
  14.         public static void main(String[] args) {
  15.                 String web="http://www.itsvse.com/";
  16.                 try {
  17.                         URL url=new URL(web);
  18.                         InputStreamReader reader=new InputStreamReader(url.openStream());
  19.                        
  20.                         StringBuilder builder=new StringBuilder();
  21.                         char[] buff=new char[1024];
  22.                         int n;
  23.                         while((n=reader.read(buff))!=-1){
  24.                                 builder.append(buff,0,n);
  25.                         }
  26.                        
  27.                         Pattern pattern=Pattern.compile("<img.*?src="(.*?)(gif|png|jpg)"");
  28.                        
  29.                         Matcher m=pattern.matcher(builder);
  30.                         while (m.find()) {
  31.                                 String u=m.group(1)+m.group(2);
  32.                                 System.out.println("dowing.."+u);
  33.                                 URL img=null;
  34.                                 if(u.startsWith("http")){
  35.                                         img=new URL(u);
  36.                                 }else{
  37.                                         img=new URL(url,u);
  38.                                 }
  39.                                 ImageIO.write(ImageIO.read(img), m.group(2), new File("D:/img/"+System.currentTimeMillis()+"."+m.group(2)));
  40.                                
  41.                         }
  42.                        
  43.                 } catch (MalformedURLException e) {
  44.                         // TODO Auto-generated catch block
  45.                         e.printStackTrace();
  46.                 } catch (IOException e) {
  47.                         // TODO Auto-generated catch block
  48.                         e.printStackTrace();
  49.                 }
  50.         }
  51. }
Code kopieren
Veröffentlicht am 04.06.2015 19:19:48 |
Delver_Si Veröffentlicht am 03.06.2015, 23:57 Uhr
Deine ursprüngliche Code-Entwicklungseffizienz ist zu niedrig, schlechte Bewertung

Ich wollte nichts sagen, aber du hast gesagt, dass Entwicklung ineffizient ist。。。。。

Das Programm erfordert die Qualität und Leistung des Codes und hat letztlich nur wenige Funktionen, eine schlechte Erweiterungsfähigkeit und eine schlechte Leistung


Führe es zehnmal hintereinander aus, ignoriere jedes Mal die Netzwerklatenz, ignoriere lokale Speicherstände und berechne nur die Zeit zum Parsen von HTML-Dokumenten – dein Programm ist weit davon entfernt.
Außerdem gibt es Fehler in deinem Code, daher werde ich nichts dazu sagen

Veröffentlicht am 03.06.2015 13:00:52 |
Delver_Si Veröffentlicht am 03.06.2015, 12:57 Uhr
Wie läuft die Studie?

Ich habe Eclipse nicht installiert und es mir in einem Notizblock angesehen, zuerst den HTML-Quellcode der Webseite geholt, dann den Wert nach src erhalten und ihn dann gespeichert   

Ich weiß nicht, ob das richtig ist  
Veröffentlicht am 03.06.2015 07:49:23 |
Können Bilder im PNG-Format abgerufen werden?
 Vermieter| Veröffentlicht am 03.06.2015 10:17:34 |
Kleines Messer, fliegendes Messer, fliegendes Fliegen, veröffentlicht am 07:49 Uhr 2015.6.49
Können Bilder im PNG-Format abgerufen werden?

Ja, ich habe das Suffix jetzt noch nicht beurteilt, alle sind als jpg gespeichert, tatsächlich kann das png-Bild mit einem jpg-Suffix geöffnet werden, und ich werde das Suffix verbessern
Veröffentlicht am 03.06.2015 12:52:13 |
Lass mich die Forschung studieren
 Vermieter| Veröffentlicht am 03.06.2015 12:57:13 |
Kleine Schlacke Veröffentlicht am 03.06.2015 12:52
Lass mich die Forschung studieren

Wie läuft die Studie?
 Vermieter| Veröffentlicht am 03.06.2015 13:05:27 |
Xiao Zhazha veröffentlicht am 03.06.2015, 13:00 Uhr
Ich habe Eclipse nicht installiert und es mir in einem Notizblock angesehen, zuerst den HTML-Quellcode der Webseite geholt, dann den Wert nach src erhalten und dann den Rough gespeichert ...

Das ist wahr
Veröffentlicht am 03.06.2015 21:12:09 |
microxdd veröffentlicht am 03.06.2015 um 21:05 Uhr
Einfache Implementierung, die nicht von anderen Paketen abhängt

Das ist der Rhythmus, der mich zwingt, Myeclipse zu installieren!
 Vermieter| Veröffentlicht am 03.06.2015 23:57:27 |
microxdd veröffentlicht am 03.06.2015 um 21:05 Uhr
Einfache Implementierung, die nicht von anderen Paketen abhängt

Deine ursprüngliche Code-Entwicklungseffizienz ist zu niedrig, schlechte Bewertung
Verzichtserklärung:
Alle von Code Farmer Network veröffentlichten Software, Programmiermaterialien oder Artikel dienen ausschließlich Lern- und Forschungszwecken; Die oben genannten Inhalte dürfen nicht für kommerzielle oder illegale Zwecke verwendet werden, andernfalls tragen die Nutzer alle Konsequenzen. Die Informationen auf dieser Seite stammen aus dem Internet, und Urheberrechtsstreitigkeiten haben nichts mit dieser Seite zu tun. Sie müssen die oben genannten Inhalte innerhalb von 24 Stunden nach dem Download vollständig von Ihrem Computer löschen. Wenn Ihnen das Programm gefällt, unterstützen Sie bitte echte Software, kaufen Sie die Registrierung und erhalten Sie bessere echte Dienstleistungen. Falls es eine Verletzung gibt, kontaktieren Sie uns bitte per E-Mail.
Mail To:help@itsvse.com