[Budovanie vedomostí o webovej stránke] Šikovné roboty na zabránenie pavúčím čiernym dierám

Pre vyhľadávač Baidu znamená pavúčia čierna diera vytváranie veľkého množstva parametrov za veľmi nízke náklady a dynamické URL s podobným obsahom, ale inými špecifickými parametrami, podobne ako nekonečná slučka "čiernych dier" zachytávajúcich pavúky, Baiduspider míňa veľa zdrojov na prehľadávanie neplatných webových stránok.
       Napríklad mnohé webové stránky majú funkciu filtrovania a webové stránky generované touto funkciou sú často prehľadávané vyhľadávačmi, pričom veľká časť z nich má nízku hodnotu vo vyhľadávaní, napríklad "prenájom domu za cenu medzi 500-1000", po prvé, na stránke v podstate nie sú žiadne relevantné zdroje (vrátane reality), a po druhé, neexistuje takýto návyk vyhľadávania pre používateľov na stránke a vyhľadávačov. Tento typ webovej stránky je vyhľadávačmi prehľadávaný vo veľkom počte, čo môže zaplniť len cennú kvótu prehľadávania na stránke. Ako sa tomu teda dá predísť?
       Vezmime si ako príklad webovú stránku na skupinový nákup v Pekingu, aby sme videli, ako stránka využíva roboty na šikovné vyhýbanie sa tejto pavúčej čiernej diere:

Pre stránky s bežnými filtrmi výsledkov sa stránka rozhodne použiť statické odkazy, ako napríklad http://bj.XXXXX.com/category/zizhucan/weigongcun
       Na tej istej stránke výsledkov s podmieneným filtrom, keď používatelia zvolia rôzne podmienky triedenia, vygenerujú sa dynamické odkazy s rôznymi parametrami, a aj keď sú rovnaké kritériá triedenia (napr. všetky v zostupnom poradí predajov), generované parametre sú odlišné. Napríklad: http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek
http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

Pre sieť skupinových nákupov môže filtrovanú stránku s výsledkami prehľadávať iba vyhľadávač, zatiaľ čo stránka triedenia výsledkov s rôznymi parametrami je vyhľadávačom odmietnutá prostredníctvom pravidiel robotov.
       robots.txt má pravidlo o používaní súborov: Nedovoliť: /*?*, ktoré zakazuje vyhľadávačom prístup ku všetkým dynamickým stránkam na webe. Týmto spôsobom webová stránka uprednostňuje kvalitné stránky a blokuje stránky nízkej kvality pre Baiduspider, čím poskytuje Baiduspiderovi priateľskú štruktúru webu a zabraňuje vzniku čiernych dier.