Ta članek je zrcalni članek strojnega prevajanja, kliknite tukaj za skok na izvirni članek.

Pogled: 32261|Odgovoriti: 11

[JavaSE] Crawler, ki je pravkar napisan v Javi, zdaj omogoča le prenos slik (globina 1) in bo nadaljeval...

[Kopiraj povezavo]
Objavljeno na 3. 06. 2015 02:38:12 | | | |
Kot naslov nakazuje

crawler.rar (62.53 KB, Število prenosov: 5, Prodajna cena: 2 Grain MB)




Prejšnji:Ali veste, katere spletne kontejnerje asp.net imeli? Razen IIS
Naslednji:Deduplikirati podatke in vrniti zbirko
Objavljeno na 3. 06. 2015 21:05:36 |
Preprosta implementacija, ki ni odvisna od drugih paketov

  1. package test;

  2. import java.io.File;
  3. import java.io.IOException;
  4. import java.io.InputStreamReader;
  5. import java.net.MalformedURLException;
  6. import java.net.URL;
  7. import java.util.regex.Matcher;
  8. import java.util.regex.Pattern;

  9. import javax.imageio.ImageIO;

  10. public class Test {
  11.         public static void main(String[] args) {
  12.                 String web="http://www.itsvse.com/";
  13.                 try {
  14.                         URL url=new URL(web);
  15.                         InputStreamReader reader=new InputStreamReader(url.openStream());
  16.                        
  17.                         StringBuilder builder=new StringBuilder();
  18.                         char[] buff=new char[1024];
  19.                         int n;
  20.                         while((n=reader.read(buff))!=-1){
  21.                                 builder.append(buff,0,n);
  22.                         }
  23.                        
  24.                         Pattern pattern=Pattern.compile("<img.*?src="(.*?)(gif|png|jpg)"");
  25.                        
  26.                         Matcher m=pattern.matcher(builder);
  27.                         while (m.find()) {
  28.                                 String u=m.group(1)+m.group(2);
  29.                                 System.out.println("dowing.."+u);
  30.                                 URL img=null;
  31.                                 if(u.startsWith("http")){
  32.                                         img=new URL(u);
  33.                                 }else{
  34.                                         img=new URL(url,u);
  35.                                 }
  36.                                 ImageIO.write(ImageIO.read(img), m.group(2), new File("D:/img/"+System.currentTimeMillis()+"."+m.group(2)));
  37.                                
  38.                         }
  39.                        
  40.                 } catch (MalformedURLException e) {
  41.                         // TODO Auto-generated catch block
  42.                         e.printStackTrace();
  43.                 } catch (IOException e) {
  44.                         // TODO Auto-generated catch block
  45.                         e.printStackTrace();
  46.                 }
  47.         }
  48. }
Kopiraj kodo
Objavljeno na 4. 06. 2015 19:19:48 |
Delver_Si Objavljeno 3. 6. 2015 ob 23:57
Tvoja prvotna učinkovitost razvoja kode je prenizka, slab pregled

Nisem hotel nič reči, ampak rekel si, da je razvoj neučinkovit。。。。。

Program zahteva kakovost in zmogljivost kode, na koncu pa ima malo funkcij, slabo razširitev in slabo zmogljivost


Zaženi 10-krat zapored, vsakič ignoriraj omrežno zakasnitev, ignoriraj lokalne shranjene datoteke in izračunaj samo čas za razčlenjevanje html dokumentov, tvoj program je daleč od tega.
Poleg tega so v vaši kodi napake, zato ne bom ničesar rekel

Objavljeno na 3. 06. 2015 13:00:52 |

Nisem namestil eclipse in si ga ogledal v beležnici, najprej sem vzel HTML izvorno kodo spletne strani, nato dobil vrednost po src in jo shranil   

Ne vem, če je prav  
Objavljeno na 3. 06. 2015 07:49:23 |
Ali je mogoče slike v PNG formatu zajeti?
 Najemodajalec| Objavljeno na 3. 06. 2015 10:17:34 |

Da, pripone še nisem sodil, vse so shranjene kot jpg, pravzaprav lahko png sliko odpreš z jpg pripono, in pripono bom izboljšal
Objavljeno na 3. 06. 2015 12:52:13 |
Naj preučim raziskavo
 Najemodajalec| Objavljeno na 3. 06. 2015 12:57:13 |

Kako poteka študija?
 Najemodajalec| Objavljeno na 3. 06. 2015 13:05:27 |
Xiao Zhazha Objavljeno 3. 6. 2015 ob 13:00
Nisem namestil eclipse in si ga ogledal v beležnici, najprej sem vzel html izvorno kodo spletne strani, nato dobil vrednost po src in nato shranil grobo ...

To drži
Objavljeno na 3. 06. 2015 21:12:09 |
microxdd objavljeno 3. 6. 2015 ob 21:05
Preprosta implementacija, ki ni odvisna od drugih paketov

To je ritem, ki me sili, da namestim myeclipse!
 Najemodajalec| Objavljeno na 3. 06. 2015 23:57:27 |
microxdd objavljeno 3. 6. 2015 ob 21:05
Preprosta implementacija, ki ni odvisna od drugih paketov

Tvoja prvotna učinkovitost razvoja kode je prenizka, slab pregled
Disclaimer:
Vsa programska oprema, programski materiali ali članki, ki jih izdaja Code Farmer Network, so namenjeni zgolj učnim in raziskovalnim namenom; Zgornja vsebina ne sme biti uporabljena v komercialne ali nezakonite namene, sicer uporabniki nosijo vse posledice. Informacije na tej strani prihajajo z interneta, spori glede avtorskih pravic pa nimajo nobene zveze s to stranjo. Zgornjo vsebino morate popolnoma izbrisati z računalnika v 24 urah po prenosu. Če vam je program všeč, podprite pristno programsko opremo, kupite registracijo in pridobite boljše pristne storitve. Če pride do kakršne koli kršitve, nas prosimo kontaktirajte po elektronski pošti.

Mail To:help@itsvse.com