Denna artikel är en spegelartikel om maskinöversättning, klicka här för att hoppa till originalartikeln.

Utsikt: 32261|Svar: 11

[JavaSE] Crawlern som just är skriven i Java har nu bara möjlighet att ladda ner bilder (djup 1), och kommer att fortsätta...

[Kopiera länk]
Publicerad på 2015-06-03 02:38:12 | | | |
Som titeln antyder

crawler.rar (62.53 KB, Antal nedladdningar: 5, Försäljningspris: 2 Korn MB)




Föregående:Vet du vilka webbcontainrar asp.net har? Förutom IIS
Nästa:deduplicera data och returnera samlingen
Publicerad på 2015-06-03 21:05:36 |
Enkel implementation som inte är beroende av andra paket

  1. package test;

  2. import java.io.File;
  3. import java.io.IOException;
  4. import java.io.InputStreamReader;
  5. import java.net.MalformedURLException;
  6. import java.net.URL;
  7. import java.util.regex.Matcher;
  8. import java.util.regex.Pattern;

  9. import javax.imageio.ImageIO;

  10. public class Test {
  11.         public static void main(String[] args) {
  12.                 String web="http://www.itsvse.com/";
  13.                 try {
  14.                         URL url=new URL(web);
  15.                         InputStreamReader reader=new InputStreamReader(url.openStream());
  16.                        
  17.                         StringBuilder builder=new StringBuilder();
  18.                         char[] buff=new char[1024];
  19.                         int n;
  20.                         while((n=reader.read(buff))!=-1){
  21.                                 builder.append(buff,0,n);
  22.                         }
  23.                        
  24.                         Pattern pattern=Pattern.compile("<img.*?src="(.*?)(gif|png|jpg)"");
  25.                        
  26.                         Matcher m=pattern.matcher(builder);
  27.                         while (m.find()) {
  28.                                 String u=m.group(1)+m.group(2);
  29.                                 System.out.println("dowing.."+u);
  30.                                 URL img=null;
  31.                                 if(u.startsWith("http")){
  32.                                         img=new URL(u);
  33.                                 }else{
  34.                                         img=new URL(url,u);
  35.                                 }
  36.                                 ImageIO.write(ImageIO.read(img), m.group(2), new File("D:/img/"+System.currentTimeMillis()+"."+m.group(2)));
  37.                                
  38.                         }
  39.                        
  40.                 } catch (MalformedURLException e) {
  41.                         // TODO Auto-generated catch block
  42.                         e.printStackTrace();
  43.                 } catch (IOException e) {
  44.                         // TODO Auto-generated catch block
  45.                         e.printStackTrace();
  46.                 }
  47.         }
  48. }
Kopiera koden
Publicerad på 2015-06-04 19:19:48 |
Delver_Si Publicerad den 2015-6-3 23:57
Din ursprungliga kodutvecklingseffektivitet är för låg, dålig recension

Jag ville inte säga något, men du sa att utveckling är ineffektivt。。。。。

Programmet kräver kodens kvalitet och prestanda, och i slutändan har det få funktioner, dålig expansionsförmåga och dålig prestanda


Kör 10 gånger i rad, ignorera nätverkslatens varje gång, ignorera lokala sparningar och beräkna bara tiden för att parsa html-dokument, ditt program är långt ifrån det.
Dessutom finns det fel i din kod, så jag säger inget

Publicerad på 2015-06-03 13:00:52 |

Jag installerade inte Eclipse utan tittade på det i en anteckningsbok, hämtade först HTML-källkoden från webbsidan, hämtade sedan värdet efter src, och sparade det sedan   

Jag vet inte om det är rätt  
Publicerad på 2015-06-03 07:49:23 |
Kan bilder i PNG-format hämtas?
 Hyresvärd| Publicerad på 2015-06-03 10:17:34 |

Ja, jag har inte dömt suffixet än, alla sparas som jpg, faktiskt kan png-bilden öppnas med ett jpg-suffix, och jag kommer att förbättra suffixet
Publicerad på 2015-06-03 12:52:13 |
Låt mig studera forskningen
 Hyresvärd| Publicerad på 2015-06-03 12:57:13 |
Liten slagg Publicerad den 2015-6-3 12:52
Låt mig studera forskningen

Hur är studien?
 Hyresvärd| Publicerad på 2015-06-03 13:05:27 |
Xiao Zhazha Publicerad den 2015-6-3 13:00
Jag installerade inte Eclipse utan tittade på det i ett anteckningsblock, först hämtade jag html-källkoden till webbsidan, hämtade sedan värdet efter src, och sparade sedan skitfilen ...

Det stämmer
Publicerad på 2015-06-03 21:12:09 |
microxdd publicerade den 2015-6-3 21:05
Enkel implementation som inte är beroende av andra paket

Det här är rytmen som tvingar mig att installera myeclipse!
 Hyresvärd| Publicerad på 2015-06-03 23:57:27 |
microxdd publicerade den 2015-6-3 21:05
Enkel implementation som inte är beroende av andra paket

Din ursprungliga kodutvecklingseffektivitet är för låg, dålig recension
Friskrivning:
All programvara, programmeringsmaterial eller artiklar som publiceras av Code Farmer Network är endast för lärande- och forskningsändamål; Ovanstående innehåll får inte användas för kommersiella eller olagliga ändamål, annars kommer användarna att bära alla konsekvenser. Informationen på denna sida kommer från internet, och upphovsrättstvister har inget med denna sida att göra. Du måste helt radera ovanstående innehåll från din dator inom 24 timmar efter nedladdning. Om du gillar programmet, vänligen stöd äkta programvara, köp registrering och få bättre äkta tjänster. Om det finns något intrång, vänligen kontakta oss via e-post.

Mail To:help@itsvse.com