1. HTTP užklausos antraštė
Kiekvieną kartą, kai HTTP užklausa siunčiama į serverį, perduodamas atributų ir konfigūracijos informacijos rinkinys, kuris yra HTTP užklausos antraštė. Kadangi naršyklės siunčiama užklausos antraštė skiriasi nuo naršyklės kodo siunčiamos užklausos antraštės, tikėtina, kad ją aptiks anti-crawler, todėl IP bus užblokuotas.
2. Slapukų nustatymai
Svetainės stebi jūsų apsilankymą naudodami slapukus ir nedelsdamos nutraukia jūsų apsilankymą, jei aptinkamas naršyklės veikimas, pvz., ypač greitai užpildoma forma arba per trumpą laiką naršoma daug puslapių. Renkant svetaines rekomenduojama patikrinti šių svetainių sugeneruotus slapukus ir tada pagalvoti, su kuriuo iš jų turi susidoroti tikrintuvas.
3. Prieigos kelias
Bendras naršyklės prieigos kelias visada yra tas pats, jį lengva atpažinti anti-crawlers, bandyti imituoti vartotojo prieigą ir atsitiktinai pasiekti puslapį.
4. Apsilankymų dažnumas
Dauguma IP blokavimo priežasčių yra ta, kad prieigos dažnis yra per greitas, juk jie nori greitai atlikti tikrinimo užduotį, tačiau greitis nepasiekiamas, o užblokavus IP efektyvumas sumažėja.
Pagrindinė anti-crawler strategija yra šie, žinoma, kai kurie griežtesni anti-crawlers, ne tik šie, kurie reikalauja, kad anti-crawler inžinieriai lėtai ištirti anti-crawler strategiją tikslinę svetainę, nuolat atnaujinti anti-crawler strategiją, naršyklės strategija taip pat turi būti nuolat atnaujinama, kartu su efektyviu ir aukštos kokybės proxy IP, naršyklės darbą galima atlikti efektyviai.
|
Paskelbta 2019-07-12 17:22:08
|
|
|
Paskelbta 2019-07-12 19:01:50