1. Заголовок HTTP-запроса
Каждый раз, когда серверу отправляется HTTP-запрос, передаётся набор атрибутов и конфигурационной информации — заголовок HTTP-запроса. Поскольку заголовок запроса, отправленный браузером, отличается от заголовка запроса, отправленного кодом краулера, он, скорее всего, будет обнаружен антикраулером, что приведёт к блокировке IP.
2. Настройки cookie
Сайты отслеживают ваш визит через файлы cookie и немедленно прерывают его при обнаружении поведения краулера, например, при быстром заполнении формы или просмотре большого количества страниц за короткое время. Рекомендуется проверить файлы cookie, создаваемые этими сайтами в процессе сбора сайтов, а затем подумать, с какими из них должен иметь дело краулеру.
3. Путь доступа
Общий путь доступа к краулёру всегда одинаков, и его легко распознать антикраулеры, попытаться имитировать пользовательский доступ и случайно получить доступ к странице.
4. Частота визитов
Большинство причин блокировки IP связаны с тем, что частота доступа слишком высокая, ведь они хотят быстро выполнить задачу краулера, но скорость не достигается, и эффективность снижается после блокировки IP.
Базовая стратегия против краулеров — это, конечно, более строгие антикраулеры, не только они, которые требуют от инженеров постепенного изучения стратегии против краулеров целевого сайта, при постоянном обновлении стратегии краулера также необходимо постоянно обновлять стратегию краулеров, в сочетании с эффективным и качественным прокси-IP, работа краулера может выполняться эффективно.
|
Опубликовано 12.07.2019 17:22:08
|
|
|
Опубликовано 12.07.2019 19:01:50