Javaで書かれたクローラーは、今や画像(深さ1)しかダウンロードできませんが、今後も続きます...

Delver_Si · 掲載地 2015/06/03 2:38:12

タイトルが示す通り

crawler.rar (62.53 KB, ダウンロード数: 5, 販売価格: 2 グレインMB)

マイクロXDD · 掲載地 2015/06/03 21:05:36

他のパッケージに依存しないシンプルな実装です

package test;
import java.io.File;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.net.URL;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
import javax.imageio.ImageIO;
public class Test {
public static void main(String[] args) {
String web="http://www.itsvse.com/";
try {
URL url=new URL(web);
InputStreamReader reader=new InputStreamReader(url.openStream());
StringBuilder builder=new StringBuilder();
char[] buff=new char[1024];
int n;
while((n=reader.read(buff))!=-1){
builder.append(buff,0,n);
}
Pattern pattern=Pattern.compile("<img.*?src="(.*?)(gif|png|jpg)"");
Matcher m=pattern.matcher(builder);
while (m.find()) {
String u=m.group(1)+m.group(2);
System.out.println("dowing.."+u);
URL img=null;
if(u.startsWith("http")){
img=new URL(u);
}else{
img=new URL(url,u);
}
ImageIO.write(ImageIO.read(img), m.group(2), new File("D:/img/"+System.currentTimeMillis()+"."+m.group(2)));
}
} catch (MalformedURLException e) {
// TODO Auto-generated catch block
e.printStackTrace();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}

コードをコピーします

マイクロXDD · 掲載地 2015/06/04 19:19:48

Delver_Si 2015-6-3 23:57に投稿
元のコード開発の効率が低すぎる、悪いレビューです

何も言いたくなかったけど、開発は非効率だと言ってたよね。。。。。

このプログラムはコードの品質と性能を求めており、結局のところ機能が少なく、拡張能力も性能も低い

10回連続で実行し、ネットワークの遅延を毎回無視し、ローカルセーブも無視し、HTMLドキュメントの解析時間だけを計算すれば、あなたのプログラムはそれからほど遠いです。
また、あなたのコードには誤りがあるので、何も言いません

クズども · 掲載地 2015/06/03 13:00:52

Delver_Si 2015年6月3日 12:57に投稿
研究の内容はどうですか?

Eclipseはインストールせず、メモ帳で確認し、まずウェブページのHTMLソースコードを取得し、srcの後に値を取得して保存しました

それが正しいのか分かりません

ナイフが飛んでいる · 掲載地 2015/06/03 7:49:23

PNG形式の画像は取得できますか?

Delver_Si · 掲載地 2015/06/03 10:17:34

小型ナイフ・フライング・ナイフフライング・フライング 2015-6-3 07:49 公開
PNG形式の画像は取得できますか?

はい、今はサフィックスを判断していません。すべてjpgとして保存しています。実際、png画像はjpgサフィックスで開けることができ、サフィックスを改善します

クズども · 掲載地 2015/06/03 12:52:13

研究を勉強させてください

Delver_Si · 掲載地 2015/06/03 12:57:13

小さなスラグ 2015年6月3日 12:52に投稿
研究を勉強させてください

研究の内容はどうですか?

Delver_Si · 掲載地 2015/06/03 13:05:27

シャオ・ジャザ 2015-6-3 13:00 投稿
Eclipseをインストールしずにメモ帳で確認し、まずウェブページのHTMLソースコードを取得し、srcの後に値を取得し、ラフ...

それは確かにそうです

クズども · 掲載地 2015/06/03 21:12:09

microxdd 2015年6月3日 21:05 投稿
他のパッケージに依存しないシンプルな実装です

このリズムが私にMyeclipseをインストールしさせているのです!

Delver_Si · 掲載地 2015/06/03 23:57:27

microxdd 2015年6月3日 21:05 投稿
他のパッケージに依存しないシンプルな実装です

元のコード開発の効率が低すぎる、悪いレビューです

[JavaSE] Javaで書かれたクローラーは、今や画像(深さ1)しかダウンロードできませんが、今後も続きます...