Краулер, щойно написаний на Java, тепер має можливість завантажувати лише зображення (глибина 1), і продовжиться...

Delver_Si · Опубліковано 03.06.2015 02:38:12

Як випливає з назви

crawler.rar (62.53 KB, Кількість завантажень: 5, Ціна продажу: 2 Grain MB)

microxdd · Опубліковано 03.06.2015 21:05:36

Проста реалізація, яка не залежить від інших пакетів

package test;
import java.io.File;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.net.URL;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
import javax.imageio.ImageIO;
public class Test {
public static void main(String[] args) {
String web="http://www.itsvse.com/";
try {
URL url=new URL(web);
InputStreamReader reader=new InputStreamReader(url.openStream());
StringBuilder builder=new StringBuilder();
char[] buff=new char[1024];
int n;
while((n=reader.read(buff))!=-1){
builder.append(buff,0,n);
}
Pattern pattern=Pattern.compile("<img.*?src="(.*?)(gif|png|jpg)"");
Matcher m=pattern.matcher(builder);
while (m.find()) {
String u=m.group(1)+m.group(2);
System.out.println("dowing.."+u);
URL img=null;
if(u.startsWith("http")){
img=new URL(u);
}else{
img=new URL(url,u);
}
ImageIO.write(ImageIO.read(img), m.group(2), new File("D:/img/"+System.currentTimeMillis()+"."+m.group(2)));
}
} catch (MalformedURLException e) {
// TODO Auto-generated catch block
e.printStackTrace();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}

Копія коду

microxdd · Опубліковано 04.06.2015 19:19:48

Delver_Si Опубліковано 2015-6-3 23:57
Ваша початкова ефективність розробки коду занадто низька, поганий відгук

Я не хотів нічого казати, але ви сказали, що розвиток неефективний。。。。。

Програма вимагає якості та продуктивності коду, і врешті-решт має мало функцій, низьку здатність до розширення та низьку продуктивність

Запускайте 10 разів поспіль, ігноруйте затримку мережі щоразу, ігноруйте локальні збереження і обчислюйте лише час для розбору html-документів — ваша програма далеко не так.
Також у вашому коді є помилки, тому я нічого не скажу

Маленька покидька · Опубліковано 03.06.2015 13:00:52

Delver_Si Опубліковано 2015-6-3 12:57
Як проходить навчання?

Я не встановлював eclipse, дивився на нього в блокнот, спочатку взяв HTML-код веб-сторінки, потім отримав значення після src і зберіг

Я не знаю, чи це правильно

Ніж летить · Опубліковано 03.06.2015 07:49:23

Чи можна отримати зображення у форматі PNG?

Delver_Si · Опубліковано 03.06.2015 10:17:34

Літальний ніж, що летить у полі, опубліковано 2015-6-3 07:49
Чи можна отримати зображення у форматі PNG?

Так, я ще не оцінював суфікс, всі вони збережені як jpg, насправді png-зображення можна відкрити суфіксом jpg, і я покращу суфікс

Маленька покидька · Опубліковано 03.06.2015 12:52:13

Дозволь мені вивчити дослідження

Delver_Si · Опубліковано 03.06.2015 12:57:13

Small slag Опубліковано 2015-6-3 12:52
Дозволь мені вивчити дослідження

Як проходить навчання?

Delver_Si · Опубліковано 03.06.2015 13:05:27

Сяо Чжажа Опубліковано 2015-6-3 13:00
Я не встановлював eclipse і дивився його в блокнот, спочатку взяв html-код веб-сторінки, потім отримав значення після src, а потім зберіг приблизне ...

Це правда

Маленька покидька · Опубліковано 03.06.2015 21:12:09

microxdd опубліковано 2015-6-3 21:05
Проста реалізація, яка не залежить від інших пакетів

Ось цей ритм змушує мене встановити myeclipse!

Delver_Si · Опубліковано 03.06.2015 23:57:27

microxdd опубліковано 2015-6-3 21:05
Проста реалізація, яка не залежить від інших пакетів

Ваша початкова ефективність розробки коду занадто низька, поганий відгук

[JavaSE] Краулер, щойно написаний на Java, тепер має можливість завантажувати лише зображення (глибина 1), і продовжиться...

Пов'язані дописи