[Znalosť webových stránok]Vyhýbanie sa čiernym dieram s robotmi

Pre vyhľadávač Baidu, pavúk čierna diera odkazuje na webové stránky prostredníctvom veľmi nízke náklady na vytvorenie veľkého počtu parametrov príliš veľa, a obsah rovnaké, ale špecifické parametre rôznych dynamických URL, ako nekonečná slučka "čierna diera" bude pavúk uväznený, Baiduspider plytvanie veľké množstvo zdrojov na prehľadávanie je neplatné webové stránky.
Napríklad mnohé webové stránky majú funkciu skríningu, prostredníctvom funkcie skríningu webovej stránky bude často veľký počet vyhľadávačov prehľadávať a veľká časť hodnoty vyhľadávania nie je vysoká, ako napríklad "500-1000 cien medzi prenájmom", po prvé, webová stránka (vrátane reality) na základnej žiadne relevantné zdroje, a po druhé, webová stránka (vrátane reality ) v zásade nie sú žiadne relevantné zdroje, a po druhé, používatelia stránky a používatelia vyhľadávača nemajú tento vyhľadávací zvyk. Tento druh webovej stránky je veľkým počtom prehľadávaní vyhľadávača, môže zabrať len cennú kvótu prehľadávania stránky. Ako sa teda vyhnúť tejto situácii?
Ako príklad si vezmeme stránku skupinového nákupu v Pekingu, aby sme videli, ako je stránka pomocou robotov šikovne vyhnúť tejto čiernej diere pavúka:

Pre bežnú stránku s výsledkami triedenia sa stránka rozhodla použiť statické odkazy, ako napríklad: http://bj.XXXXX.com/category/zizhucan/weigongcun Stránka s výsledkami triedenia rovnakých podmienok, keď používateľ vyberie iné podmienky triedenia, vygeneruje dynamický odkaz s rôznymi parametrami. dynamické odkazy, a dokonca aj rovnaké podmienky triedenia (napr.: sú zoradené zostupne podľa predaja), vygenerované parametre sú odlišné.
Napríklad: http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek http://bj.XXXXX.com/category/zizhucan/ weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

Pre túto sieť skupinového nákupu môže byť len nechajte vyhľadávač prehľadávať stránku s výsledkami triedenia a všetky druhy s parametrami výsledkov triedenia stránky prostredníctvom pravidiel robotov odmietnite poskytnúť vyhľadávaču.
Použitie súboru robots.txt má takéto pravidlo: Disallow: /*? *, to znamená zakázať vyhľadávačom prístup ku všetkým dynamickým stránkam na webe. Týmto spôsobom je stránka presne Baiduspider prioritou pre zobrazenie vysokokvalitných stránok, blokované stránky s nízkou kvalitou, pre Baiduspider poskytnúť priateľskejšiu štruktúru stránky, aby sa zabránilo vzniku čiernych dier.