Az interneten sok crawler python nyelven íródott, és egy ideje írtak egy aps.net egyszerű crawler is, amely képes feltérképezni az általad kívánt adatokat. Manapság sok weboldal fejlesztett ki egy visszamenős mechanizmust, ami nagyon megnehezíti a crawlereknek az adatok kaparálását. Valószínűleg többféle módja van a legtöbb weboldal visszafordított áthelyezésének: vannak ellenőrző kódok, IP-címek, feketelisták stb., valamint néhány fejlettebb visszafordított crawlolási módszer.
Ez a crawler intézkedéseket tett az anti-crawling, az ellenőrző kódok megkerülése, proxyk használata stb. kezelésére, beillesztetni az alábbi kódokat, beszélgetni és tanulni veled, kérlek, javítsd ki, mi a baj!
Ez a crawler főként egy bizonyos weboldalra van célozva.
Az URL beírása után visszakeresheted az adatokat az URL szerint, majd szűrheted és tisztíthatod az adatokat XPath-on keresztül, hogy megszerezd a kívánt adatokat
A visszamenésre való kikerüléshez proxy IP-t használhatsz a hozzáféréshez, letölthetsz vagy elfoglalhatsz egy magas rejtőzködő IP-t az interneten, majd véletlenszerűen válthatod a proxy IP-címet a grab-re
A fenti kód először annak megállapítására szolgál, hogy a kapcsolt IP elérhető-e
Nézd meg a konkrét kód forráskódját, és add meg a forráskódot!
Forráskód letöltés
Turisták, ha szeretnétek megnézni ennek a bejegyzésnek a rejtett tartalmát, kérlek Válasz
| 
Közzétéve 2017. 11. 06. 18:36:20
|
|
|
|
Háziúr|
Közzétéve 2017. 11. 07. 9:30:14
|
Közzétéve 2017. 11. 06. 18:44:57
|
