1. HTTP-Anfrage-Header
Jedes Mal, wenn eine HTTP-Anfrage an den Server gesendet wird, wird eine Menge von Attributen und Konfigurationsinformationen übermittelt, nämlich der HTTP-Anfrage-Header. Da der vom Browser gesendete Anfrageheader sich von dem vom Crawler-Code gesendeten Anfrageheader unterscheidet, wird er wahrscheinlich vom Anti-Crawler entdeckt, was zu einer IP-Blockierung führt.
2. Cookie-Einstellungen
Webseiten verfolgen Ihren Besuch über Cookies und unterbrechen Ihren Besuch sofort, wenn Crawler-Verhalten erkannt wird, etwa das schnelle Ausfüllen eines Formulars oder das Durchsuchen einer großen Anzahl von Seiten in kurzer Zeit. Es wird empfohlen, die Cookies zu überprüfen, die diese Websites im Rahmen der Sammlung der Websites erstellen, und dann zu überlegen, mit welchem der Crawler zu tun hat.
3. Zugangsweg
Der allgemeine Crawler-Zugriffspfad ist immer derselbe, und es ist leicht, von Anti-Crawlern erkannt zu werden, den Benutzerzugriff zu simulieren und zufällig auf die Seite zuzugreifen.
4. Häufigkeit der Besuche
Die meisten Gründe für das Blockieren von IPs sind, dass die Zugriffsfrequenz zu hoch ist – schließlich wollen sie die Crawler-Aufgabe schnell erledigen, aber die Geschwindigkeit wird nicht erreicht und die Effizienz nimmt ab, nachdem die IP blockiert wurde.
Die grundlegende Anti-Crawler-Strategie ist natürlich einige strengere Anti-Crawler, nicht nur diese, was erfordert, dass Anti-Crawler-Ingenieure die Anti-Crawler-Strategie der Zielwebsite langsam untersuchen; mit dem kontinuierlichen Upgrade der Anti-Crawler-Strategie muss auch die Crawler-Strategie kontinuierlich aufgerüstet werden, kombiniert mit effizienten und hochwertigen Proxy-IP, sodass die Arbeit effizient ausgeführt werden kann.
|
Veröffentlicht am 12.07.2019 17:22:08
|
|
|
Veröffentlicht am 12.07.2019 19:01:50