Краулер, только что написанный на Java, теперь может скачивать только изображения (глубина 1), и продолжит...

Delver_Si · Опубликовано 03.06.2015 2:38:12

Как следует из названия

crawler.rar (62.53 KB, Количество скачиваний: 5, Цена продажи: 2 Grain MB)

microxdd · Опубликовано 03.06.2015 21:05:36

Простая реализация, не зависящая от других пакетов

package test;
import java.io.File;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.net.URL;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
import javax.imageio.ImageIO;
public class Test {
public static void main(String[] args) {
String web="http://www.itsvse.com/";
try {
URL url=new URL(web);
InputStreamReader reader=new InputStreamReader(url.openStream());
StringBuilder builder=new StringBuilder();
char[] buff=new char[1024];
int n;
while((n=reader.read(buff))!=-1){
builder.append(buff,0,n);
}
Pattern pattern=Pattern.compile("<img.*?src="(.*?)(gif|png|jpg)"");
Matcher m=pattern.matcher(builder);
while (m.find()) {
String u=m.group(1)+m.group(2);
System.out.println("dowing.."+u);
URL img=null;
if(u.startsWith("http")){
img=new URL(u);
}else{
img=new URL(url,u);
}
ImageIO.write(ImageIO.read(img), m.group(2), new File("D:/img/"+System.currentTimeMillis()+"."+m.group(2)));
}
} catch (MalformedURLException e) {
// TODO Auto-generated catch block
e.printStackTrace();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}

Копирование кода

microxdd · Опубликовано 04.06.2015 19:19:48

Delver_Si Опубликовано 2015-6-3 23:57
Эффективность вашей оригинальной разработки кода слишком низкая, плохой отзыв

Я не хотел ничего говорить, но вы сказали, что разработка неэффективна。。。。。

Программа требует качества и производительности кода, и в итоге у неё мало функций, плохая возможность расширения и плохая производительность

Запускайте 10 раз подряд, игнорируйте задержку в сети каждый раз, игнорируйте локальные сохранения и рассчитывайте только время для разбора html-документов — ваша программа далеко не такова.
Кроме того, в вашем коде есть ошибки, так что я ничего не скажу

Маленькая мразь · Опубликовано 03.06.2015 13:00:52

Delver_Si Опубликовано 2015-6-3 12:57
Как проходит учеба?

Я не устанавливал eclipse, посмотрел его в блокноте, сначала взял исходный код веб-страницы в HTML, потом получил значение после src и сохранил его

Не знаю, правильно ли это

Нож летит · Опубликовано 03.06.2015 7:49:23

Можно ли получить изображения в формате PNG?

Delver_Si · Опубликовано 03.06.2015 10:17:34

Летящий нож с маленьким ножом, летающим ножом, опубликовано 2015-6-3 07:49
Можно ли получить изображения в формате PNG?

Да, я пока не оценивал суффикс, все они сохранены в формате jpg, на самом деле png-изображение можно открыть суффиксом jpg, и я исправлю суффикс

Маленькая мразь · Опубликовано 03.06.2015 12:52:13

Позвольте мне изучить исследование

Delver_Si · Опубликовано 03.06.2015 12:57:13

Маленький шлак Опубликовано 2015-6-3 12:52
Позвольте мне изучить исследование

Как проходит учеба?

Delver_Si · Опубликовано 03.06.2015 13:05:27

Сяо Чжажа Опубликовано 2015-6-3 13:00
Я не устанавливал eclipse и смотрел его в блокноте, сначала взял исходный код веб-страницы, потом получил значение после src и сохранил черновой ...

Это правда

Маленькая мразь · Опубликовано 03.06.2015 21:12:09

microxdd опубликовано 2015-6-3 21:05
Простая реализация, не зависящая от других пакетов

Это ритм, который заставляет меня установить myeclipse!

Delver_Si · Опубликовано 03.06.2015 23:57:27

microxdd опубликовано 2015-6-3 21:05
Простая реализация, не зависящая от других пакетов

Эффективность вашей оригинальной разработки кода слишком низкая, плохой отзыв

[JavaSE] Краулер, только что написанный на Java, теперь может скачивать только изображения (глубина 1), и продолжит...

Связанные публикации