[Znanje o ustvarjanju spletne strani] Pametni roboti za izogibanje črnim luknjam pajkov

Za iskalnik Baidu pajkova črna luknja pomeni, da spletna stran ustvarja veliko število parametrov po zelo nizkih stroških in dinamične URL-je s podobno vsebino, a drugačnimi specifičnimi parametri, podobno kot neskončna zanka "črnih lukenj", ki ujamejo pajke, Baiduspider zapravlja veliko virov za iskanje neveljavnih spletnih strani.
       Na primer, veliko spletnih strani ima funkcijo filtriranja, spletne strani, ki jih ustvari ta funkcija, pa so pogosto preiskovane s strani iskalnikov, velik del pa ima nizko vrednost iskanja, na primer "najem hiše s ceno med 500 in 1000". Najprej, na spletni strani praktično ni nobenih relevantnih virov (tudi v resnici), in drugič, ni takšne navade iskanja za uporabnike na spletni strani in za uporabnike iskalnikov. Tovrstne spletne strani množično pregledujejo iskalniki, kar lahko zasede le dragoceno kvoto za iskanje na spletni strani. Kako se temu torej lahko izognemo?
       Vzemimo za primer spletno stran za skupinski nakup v Pekingu, da vidimo, kako spletna stran uporablja robote, da se pametno izogne tej pajkovi črni luknji:

Za običajne strani z rezultati filtrov stran izbere uporabo statičnih povezav, kot so http://bj.XXXXX.com/category/zizhucan/weigongcun
       Na isti strani rezultatov pogojnega filtra, ko uporabniki izberejo različne pogoje razvrščanja, se generirajo dinamične povezave z različnimi parametri, in tudi če so kriteriji razvrščanja enaki (npr. vsi v padajočem vrstnem redu prodaj), so generirani parametri različni. Na primer: http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek
http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

Za skupinsko nakupovalno mrežo lahko le iskalnik pregleduje stran z rezultati filtra, medtem ko stran za razvrščanje rezultatov z različnimi parametri iskalnik zavrne prek pravil robotov.
       robots.txt ima pravilo glede uporabe datotek: Disallow: /*?*, ki iskalnikom prepoveduje dostop do vseh dinamičnih strani na spletni strani. Na ta način spletna stran daje prednost visokokakovostnim stranem in blokira strani nizke kakovosti za Baiduspider, kar Baiduspiderju omogoča bolj prijazno strukturo spletne strani in preprečuje nastanek črnih lukenj.