Crawler práve napísaný v Jave, teraz má možnosť sťahovať len obrázky (hĺbka 1) a bude pokračovať...

Delver_Si · Zverejnené 3. 6. 2015 2:38:12

Ako naznačuje názov

crawler.rar (62.53 KB, Počet stiahnutí: 5, Predajná cena: 2 Zrno MB)

microxdd · Zverejnené 3. 6. 2015 21:05:36

Jednoduchá implementácia, ktorá nezávisí od iných balíkov

package test;
import java.io.File;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.net.URL;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
import javax.imageio.ImageIO;
public class Test {
public static void main(String[] args) {
String web="http://www.itsvse.com/";
try {
URL url=new URL(web);
InputStreamReader reader=new InputStreamReader(url.openStream());
StringBuilder builder=new StringBuilder();
char[] buff=new char[1024];
int n;
while((n=reader.read(buff))!=-1){
builder.append(buff,0,n);
}
Pattern pattern=Pattern.compile("<img.*?src="(.*?)(gif|png|jpg)"");
Matcher m=pattern.matcher(builder);
while (m.find()) {
String u=m.group(1)+m.group(2);
System.out.println("dowing.."+u);
URL img=null;
if(u.startsWith("http")){
img=new URL(u);
}else{
img=new URL(url,u);
}
ImageIO.write(ImageIO.read(img), m.group(2), new File("D:/img/"+System.currentTimeMillis()+"."+m.group(2)));
}
} catch (MalformedURLException e) {
// TODO Auto-generated catch block
e.printStackTrace();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}

Kopírovať kód

microxdd · Zverejnené 4. 6. 2015 19:19:48

Delver_Si Zverejnené 3.6.2015 o 23:57
Efektivita vášho pôvodného vývoja kódu je príliš nízka, zlá kontrola

Nechcel som nič hovoriť, ale povedali ste, že rozvoj je neefektívny。。。。。

Program vyžaduje kvalitu a výkon kódu, a nakoniec má málo funkcií, slabú schopnosť rozširovania a slabý výkon

Spusti to desaťkrát za sebou, ignoruj latenciu siete zakaždým, ignoruj lokálne uloženia a počítaj len čas na analýzu html dokumentov, tvoj program je od toho ďaleko.
Tiež sú chyby v tvojom kóde, takže nič nebudem hovoriť

Malý · Zverejnené 3. 6. 2015 13:00:52

Delver_Si Zverejnené 3.6.2015 o 12:57
Ako je na tom štúdia?

Neinštaloval som Eclipse a nepozrel som si ho v poznámkovom bloku, najprv som si zobral zdrojový kód HTML stránky, potom som získal hodnotu po src a nakoniec som to uložil

Neviem, či je to správne

Nôž letí · Zverejnené 3. 6. 2015 7:49:23

Dajú sa obrázky vo formáte PNG snímať?

Delver_Si · Zverejnené 3. 6. 2015 10:17:34

Malý nôž lietajúci nôž lietajúci lietajúci lietajúci Publikované 2015-6-3 07:49
Dajú sa obrázky vo formáte PNG snímať?

Áno, zatiaľ som nehodnotil príponu, všetky sú uložené ako jpg, vlastne obrázok png sa dá otvoriť s príponou jpg a príponu vylepším

Malý · Zverejnené 3. 6. 2015 12:52:13

Dovoľ mi študovať výskum

Delver_Si · Zverejnené 3. 6. 2015 12:57:13

Small slag Zverejnené 2015-6-3 12:52
Dovoľ mi študovať výskum

Ako je na tom štúdia?

Delver_Si · Zverejnené 3. 6. 2015 13:05:27

Xiao Zhazha Zverejnené 3.6.2015 o 13:00
Neinštaloval som Eclipse a nepozeral sa naň v poznámkovom bloku, najprv som si stiahol zdrojový kód html webovej stránky, potom získal hodnotu po src a nakoniec uložil hrubé ...

To je pravda

Malý · Zverejnené 3. 6. 2015 21:12:09

microxdd zverejnené 3.6.2015 21:05
Jednoduchá implementácia, ktorá nezávisí od iných balíkov

Toto je rytmus, ktorý ma núti nainštalovať myeclipse!

Delver_Si · Zverejnené 3. 6. 2015 23:57:27

microxdd zverejnené 3.6.2015 21:05
Jednoduchá implementácia, ktorá nezávisí od iných balíkov

Efektivita vášho pôvodného vývoja kódu je príliš nízka, zlá kontrola

[JavaSE] Crawler práve napísaný v Jave, teraz má možnosť sťahovať len obrázky (hĺbka 1) a bude pokračovať...

Súvisiace príspevky