De crawler die net in Java is geschreven, kan nu alleen nog afbeeldingen downloaden (diepte 1), en zal doorgaan...

Delver_Si · Geplaatst op 03-06-2015 02:38:12

Zoals de titel al aangeeft, al doet vermoeden

crawler.rar (62.53 KB, Aantal downloads: 5, Verkoopprijs: 2 Grain MB)

microxdd · Geplaatst op 03-06-2015 21:05:36

Eenvoudige implementatie die niet afhankelijk is van andere pakketten

package test;
import java.io.File;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.net.URL;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
import javax.imageio.ImageIO;
public class Test {
public static void main(String[] args) {
String web="http://www.itsvse.com/";
try {
URL url=new URL(web);
InputStreamReader reader=new InputStreamReader(url.openStream());
StringBuilder builder=new StringBuilder();
char[] buff=new char[1024];
int n;
while((n=reader.read(buff))!=-1){
builder.append(buff,0,n);
}
Pattern pattern=Pattern.compile("<img.*?src="(.*?)(gif|png|jpg)"");
Matcher m=pattern.matcher(builder);
while (m.find()) {
String u=m.group(1)+m.group(2);
System.out.println("dowing.."+u);
URL img=null;
if(u.startsWith("http")){
img=new URL(u);
}else{
img=new URL(url,u);
}
ImageIO.write(ImageIO.read(img), m.group(2), new File("D:/img/"+System.currentTimeMillis()+"."+m.group(2)));
}
} catch (MalformedURLException e) {
// TODO Auto-generated catch block
e.printStackTrace();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}

Code kopiëren

microxdd · Geplaatst op 04-06-2015 19:19:48

Delver_Si Geplaatst op 2015-6-3 23:57
Je oorspronkelijke code-ontwikkelingsefficiëntie is te laag, slechte review

Ik wilde er niets over zeggen, maar je zei dat ontwikkeling inefficiënt is。。。。。

Het programma vereist de kwaliteit en prestaties van de code, en uiteindelijk heeft het weinig functies, slechte uitbreidbaarheid en slechte prestaties

Voer het tien keer achter elkaar uit, negeer netwerklatentie elke keer, negeer lokale saves en bereken alleen de tijd om html-documenten te parsen, je programma zit er ver van.
Ook zitten er fouten in je code, dus ik zal er niets over zeggen

Klein tuig · Geplaatst op 03-06-2015 13:00:52

Delver_Si Geplaatst op 3-6-2015 12:57
Hoe is het onderzoek?

Ik heb Eclipse niet geïnstalleerd en het in een notitieblok bekeken, eerst de HTML-broncode van de webpagina gepakt, daarna de waarde na src gehaald, en daarna opgeslagen

Ik weet niet of het goed is

Het mes vliegt · Geplaatst op 03-06-2015 07:49:23

Kunnen afbeeldingen in PNG-formaat worden gedownload?

Delver_Si · Geplaatst op 03-06-2015 10:17:34

Klein mes vliegend mes vliegen vliegen gepubliceerd op 3 juni 2015 07:49
Kunnen afbeeldingen in PNG-formaat worden gedownload?

Ja, ik heb het achtervoegsel nu nog niet beoordeeld, ze zijn allemaal opgeslagen als jpg, in feite kan de png-afbeelding worden geopend met een jpg-achtervoegsel, en ik zal het achtervoegsel verbeteren

Klein tuig · Geplaatst op 03-06-2015 12:52:13

Laat me het onderzoek bestuderen

Delver_Si · Geplaatst op 03-06-2015 12:57:13

Kleine Geplaatst op 2015-6-3 12:52
Laat me het onderzoek bestuderen

Hoe is het onderzoek?

Delver_Si · Geplaatst op 03-06-2015 13:05:27

Xiao Zhazha Geplaatst op 3-6-2015 13:00
Ik heb Eclipse niet geïnstalleerd en het in een notitieblok bekeken, eerst de html-broncode van de webpagina gepakt, dan de waarde na src opgehaald, en daarna de ruwe versie opgeslagen ...

Dat klopt

Klein tuig · Geplaatst op 03-06-2015 21:12:09

microxdd geplaatst op 3-6-2015 21:05
Eenvoudige implementatie die niet afhankelijk is van andere pakketten

Dit is het ritme dat me dwingt om myeclipse te installeren!

Delver_Si · Geplaatst op 03-06-2015 23:57:27

microxdd geplaatst op 3-6-2015 21:05
Eenvoudige implementatie die niet afhankelijk is van andere pakketten

Je oorspronkelijke code-ontwikkelingsefficiëntie is te laag, slechte review

[JavaSE] De crawler die net in Java is geschreven, kan nu alleen nog afbeeldingen downloaden (diepte 1), en zal doorgaan...

Gerelateerde berichten