[Znalost webových stránek]Vyhnout se černým dírám pavouků pomocí robotů

Pro vyhledávač Baidu, pavouk černá díra odkazuje na webové stránky prostřednictvím velmi nízké náklady na vytvoření velkého počtu parametrů příliš mnoho, a obsah stejný, ale specifické parametry různých dynamických URL, jako nekonečná smyčka "černá díra" bude pavouk uvězněn, Baiduspider plýtval velké množství zdrojů pro procházení je neplatná webová stránka.
Například mnoho webových stránek má funkci screeningu, prostřednictvím funkce screeningu webové stránky bude často velký počet vyhledávačů procházet a velká část hodnoty vyhledávání není vysoká, jako například "500-1000 ceny mezi pronájmem", za prvé, webové stránky (včetně reality) na základní žádné relevantní zdroje, a za druhé, webové stránky (včetně reálného ) v zásadě žádné relevantní zdroje, a za druhé, uživatelé stránek a uživatelé vyhledávačů nemají tento vyhledávací návyk. Tento druh webových stránek je velkým počtem procházení vyhledávače, může pouze zabírat cenné kvóty procházení webu. Jak se tedy této situaci vyhnout?
Vezmeme si jako příklad stránku skupinového nákupu v Pekingu, abychom viděli, jak se stránka pomocí robotů této černé díře pavouka chytře vyhne:

Pro běžnou stránku s výsledky třídění se web rozhodl použít statické odkazy, například: http://bj.XXXXX.com/category/zizhucan/weigongcun Stránka s výsledky třídění za stejných podmínek, když uživatel vybere jiné podmínky třídění, vygeneruje dynamický odkaz s jinými parametry. dynamické odkazy, a dokonce i stejné podmínky třídění (např.: jsou seřazeny sestupně podle prodeje), generují se různé parametry.
Například: http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek http://bj.XXXXX.com/category/zizhucan/ weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

Pro tuto síť skupinového nákupu lze nechat vyhledávač procházet pouze stránku s výsledky třídění a všechny druhy s parametry výsledků třídění stránky prostřednictvím pravidel robotů odmítnout poskytnout vyhledávači.
Použití souboru robots.txt má takové pravidlo: Disallow: /*? *, tedy zakázat vyhledávačům přístup ke všem dynamickým stránkám webu. Tímto způsobem je web přesně Baiduspider prioritou pro zobrazení vysoce kvalitních stránek, zablokoval nekvalitní stránky, pro Baiduspider poskytnout přívětivější strukturu webu, aby se zabránilo vzniku černých děr.