1. HTTP pieprasījuma galvene
Katru reizi, kad HTTP pieprasījums tiek nosūtīts uz serveri, tiek nodota atribūtu un konfigurācijas informācijas kopa, kas ir HTTP pieprasījuma galvene. Tā kā pārlūkprogrammas nosūtītā pieprasījuma galvene atšķiras no rāpuļprogrammas koda nosūtītās pieprasījuma galvenes, visticamāk, to atklās anti-crawler, kā rezultātā IP tiks bloķēts.
2. Sīkdatņu iestatījumi
Tīmekļa vietnes izseko jūsu apmeklējumu, izmantojot sīkfailus, un nekavējoties pārtrauc jūsu apmeklējumu, ja tiek konstatēta rāpuļprogrammas darbība, piemēram, veidlapas aizpildīšana īpaši ātri vai liela skaita lapu pārlūkošana īsā laika periodā. Ieteicams pārbaudīt šo vietņu ģenerētās sīkdatnes vietņu vākšanas procesā un pēc tam padomāt par to, ar kuru rāpuļprogrammai ir jānodarbojas.
3. Piekļuves ceļš
Vispārējais rāpuļprogrammas piekļuves ceļš vienmēr ir vienāds, un to ir viegli atpazīt anti-crawlers, mēģināt simulēt lietotāju piekļuvi un nejauši piekļūt lapai.
4. Apmeklējumu biežums
Lielākā daļa IP bloķēšanas iemeslu ir tāpēc, ka piekļuves frekvence ir pārāk ātra, galu galā viņi vēlas ātri pabeigt rāpuļprogrammas uzdevumu, bet ātrums netiek sasniegts, un efektivitāte samazinās pēc IP bloķēšanas.
Pamata anti-crawler stratēģija ir šie, protams, daži stingrāki anti-crawlers, ne tikai šie, kas prasa anti-crawler inženieriem lēnām izpētīt mērķa vietnes anti-crawler stratēģiju, nepārtraukti uzlabojot anti-crawler stratēģiju, arī rāpuļprogrammas stratēģija ir nepārtraukti jāatjaunina, apvienojumā ar efektīvu un augstas kvalitātes proxy IP, rāpuļdarbu var veikt efektīvi.
|
Publicēts 12.07.2019 17:22:08
|
|
|
Publicēts 12.07.2019 19:01:50