[Znanje o spletni strani]Izogibanje črnim luknjam s pajki z roboti

Za Baidu iskalnik, pajka črna luknja se nanaša na spletno stran z zelo nizkimi stroški za ustvarjanje velikega števila parametrov preveč, in vsebino istega, vendar posebne parametre različnih dinamičnih URL, kot neskončno zanko "črna luknja" bo pajek ujet, Baiduspider zapravil veliko število virov za pajkovanje je neveljavna spletna stran.
Na primer, veliko spletnih strani ima funkcijo pregleda, s funkcijo pregleda spletne strani bo pogosto veliko število iskalnikov, in velik del vrednosti iskanja ni visoka, kot je "500-1000 cene med najemom", prvič, spletna stran (vključno z resničnostjo) na osnovni ni ustreznih virov, in drugič, spletna stran (vključno z resničnostjo ) v osnovi ni relevantnih virov, in drugič, uporabniki spletnega mesta in uporabniki iskalnikov nimajo te iskalne navade. Takšna spletna stran je veliko število preiskovanj iskalnika, lahko le zavzame dragoceno kvoto preiskovanja spletnega mesta. Kako se torej izogniti tej situaciji?
Kot primer vzamemo spletno mesto za skupinsko nakupovanje v Pekingu, da vidimo, kako se spletno mesto z uporabo robotov spretno izogne tej pajkovi črni luknji:

Za navadno stran z rezultati razvrščanja se je spletna stran odločila za uporabo statičnih povezav, kot so: http://bj.XXXXX.com/category/zizhucan/weigongcun Stran z rezultati razvrščanja pod enakimi pogoji, ko uporabnik izbere drugačne pogoje razvrščanja, ustvari dinamično povezavo z različnimi parametri. Dinamične povezave in celo enaki pogoji razvrščanja (npr.: so v padajočem vrstnem redu po prodaji), generirani parametri so različni.
Na primer: http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek http://bj.XXXXX.com/category/zizhucan/ weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

Za to omrežje skupinskega nakupovanja lahko iskalnik preleti le stran z rezultati razvrščanja, vse vrste s parametri rezultatov strani razvrščanja pa prek pravil robotov zavrne, da bi jih zagotovil iskalniku.
Uporaba datoteke robots.txt ima takšno pravilo: Disallow: /*? *, kar pomeni, da iskalnikom prepove dostop do vseh dinamičnih strani na spletnem mestu. Na ta način je spletno mesto natančno Baiduspider prednostno prikazati visokokakovostne strani, blokirane nizkokakovostne strani, za Baiduspider zagotoviti bolj prijazno strukturo spletnega mesta, da bi se izognili nastanku črnih lukenj.