1. HTTP glava zahteve
Vsakič, ko je HTTP zahtevek poslan strežniku, se posreduje nabor atributov in konfiguracijskih informacij, ki je HTTP glava zahteve. Ker je glava zahteve, ki jo pošlje brskalnik, drugačna od glave zahteve, ki jo pošlje koda pajka, jo bo verjetno odkril anti-pajkalec, kar povzroči blokado IP-ja.
2. Nastavitve piškotkov
Spletne strani spremljajo vaš obisk preko piškotkov in ga takoj prekinejo, če zaznajo vedenje pajka, na primer pri hitrem izpolnjevanju obrazca ali brskanju po velikem številu strani v kratkem času. Priporočljivo je, da preverite piškotke, ki jih te spletne strani ustvarijo med zbiranjem spletnih strani, in nato premislite, s katerim mora pajka ravnati.
3. Dostopna pot
Splošna dostopna pot do pajkov je vedno enaka in jo je enostavno prepoznati s strani anti-pajkov, poskušati simulirati uporabniški dostop in naključno dostopati do strani.
4. Pogostost obiskov
Večina razlogov za blokiranje IP-jev je, ker je dostopna frekvenca prehitra; navsezadnje želijo hitro dokončati nalogo pajka, vendar hitrost ni dosežena, učinkovitost pa se zmanjša po blokadi IP-ja.
Osnovna strategija proti pajkalnikom so seveda nekateri strožji anti-pajkovniki, ne samo ti, ki zahtevajo, da inženirji proti pajkalnikom počasi preučujejo strategijo proti pajkalnikom ciljne spletne strani, z nenehnim nadgrajevanjem strategije proti pajkalnikom je treba strategijo pajka tudi nenehno nadgrajevati, skupaj z učinkovitim in kakovostnim proxy IP-jem je mogoče delo pajka izvajati učinkovito.
|
Objavljeno na 12. 07. 2019 17:22:08
|
|
|
Objavljeno na 12. 07. 2019 19:01:50