Краулърът, който току-що е написан на Java, сега има възможност само за изтегляне на изображения (дълбочина 1) и ще продължи...

Delver_Si · Публикувано в 3.06.2015 г. 2:38:12 ч.

Както подсказва заглавието

crawler.rar (62.53 KB, Брой изтегляния: 5, Цена за продажба: 2 Grain MB)

microxdd · Публикувано в 3.06.2015 г. 21:05:36 ч.

Проста имплементация, която не зависи от други пакети

package test;
import java.io.File;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.net.URL;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
import javax.imageio.ImageIO;
public class Test {
public static void main(String[] args) {
String web="http://www.itsvse.com/";
try {
URL url=new URL(web);
InputStreamReader reader=new InputStreamReader(url.openStream());
StringBuilder builder=new StringBuilder();
char[] buff=new char[1024];
int n;
while((n=reader.read(buff))!=-1){
builder.append(buff,0,n);
}
Pattern pattern=Pattern.compile("<img.*?src="(.*?)(gif|png|jpg)"");
Matcher m=pattern.matcher(builder);
while (m.find()) {
String u=m.group(1)+m.group(2);
System.out.println("dowing.."+u);
URL img=null;
if(u.startsWith("http")){
img=new URL(u);
}else{
img=new URL(url,u);
}
ImageIO.write(ImageIO.read(img), m.group(2), new File("D:/img/"+System.currentTimeMillis()+"."+m.group(2)));
}
} catch (MalformedURLException e) {
// TODO Auto-generated catch block
e.printStackTrace();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}

Копирай код

microxdd · Публикувано в 4.06.2015 г. 19:19:48 ч.

Delver_Si Публикувано на 2015-6-3 23:57
Първоначалната ви ефективност при разработка на код е твърде ниска, лош отзив

Не исках да казвам нищо, но ти каза, че разработката е неефективна。。。。。

Програмата изисква качеството и производителността на кода, а в крайна сметка има малко функции, слаба възможност за разширяване и слаба производителност

Пусни 10 пъти подред, игнорирай латентността в мрежата всеки път, игнорирай локалните запазвания и изчислявай само времето за парсиране на html документи – програмата ти е далеч от това.
Също така, има грешки в кода ти, така че няма да казвам нищо

Малък боклук · Публикувано в 3.06.2015 г. 13:00:52 ч.

Delver_Si Публикувано на 2015-6-3 12:57
Как е изследването?

Не инсталирах Eclipse и го разгледах в бележник, първо взех HTML изходния код на уеб страницата, после получих стойността след src и го запазих

Не знам дали е правилно

Ножът лети · Публикувано в 3.06.2015 г. 7:49:23 ч.

Могат ли изображения във формат PNG да се изтеглят?

Delver_Si · Публикувано в 3.06.2015 г. 10:17:34 ч.

Малък летящ нож, летящ нож, публикувано на 2015-6-3 07:49
Могат ли изображения във формат PNG да се изтеглят?

Да, все още не съм преценил суфикса, всички са запазени като jpg, всъщност png изображението може да се отвори с jpg суфикс и ще подобря суфикса

Малък боклук · Публикувано в 3.06.2015 г. 12:52:13 ч.

Нека проуча изследванията

Delver_Si · Публикувано в 3.06.2015 г. 12:57:13 ч.

Малка шлака Публикувано на 2015-6-3 12:52
Нека проуча изследванията

Как е изследването?

Delver_Si · Публикувано в 3.06.2015 г. 13:05:27 ч.

Xiao Zhazha Публикувано на 2015-6-3 13:00
Не инсталирах eclipse и го разгледах в бележник, първо взех HTML изходния код на уеб страницата, после взех стойността след src и после запазих грубия ...

Това е вярно

Малък боклук · Публикувано в 3.06.2015 г. 21:12:09 ч.

microxdd публикувано на 2015-6-3 21:05
Проста имплементация, която не зависи от други пакети

Това е ритъмът, който ме кара да инсталирам myeclipse!

Delver_Si · Публикувано в 3.06.2015 г. 23:57:27 ч.

microxdd публикувано на 2015-6-3 21:05
Проста имплементация, която не зависи от други пакети

Първоначалната ви ефективност при разработка на код е твърде ниска, лош отзив

[JavaSE] Краулърът, който току-що е написан на Java, сега има възможност само за изтегляне на изображения (дълбочина 1) и ще продължи...

Свързани публикации