[Veebilehe loomise teadmised] Nutikad robotid, et vältida ämblikmusti auke

Baidu otsingumootori jaoks tähendab ämblikmust auk veebisaiti, mis loob suure hulga parameetreid väga madala kuluga, ning dünaamilisi URL-e sarnase sisuga, kuid erinevate spetsiifiliste parameetritega, nagu lõputu "musta auku" lõksu ämblike tsükkel, raiskab Baiduspider palju ressursse kehtetute veebilehtede indekseerimiseks.
       Näiteks paljudel veebilehtedel on filtreerimisfunktsioon ning filtreerimisfunktsiooni poolt genereeritud veebilehti indekseerivad otsingumootorid sageli ning suurel osal on madal otsinguväärtus, näiteks "maja rentimine hinnaga 500–1000", esiteks pole veebilehel sisuliselt asjakohaseid ressursse (ka päriselus) ning teiseks puudub selline otsinguharjumus nii saidil kui ka otsingumootori kasutajatel. Sellist veebilehte indekseerivad otsingumootorid suures koguses, mis mahutab vaid väärtuslikku indekseerimiskvooti veebisaidil. Kuidas seda siis vältida?
       Võtame näiteks Pekingi grupiostu veebisaidi, et näha, kuidas veebileht kasutab roboteid, et nutikalt vältida seda ämblikmusta auku:

Tavaliste filtrite tulemuste lehtede puhul valib sait staatilisi linke, näiteks http://bj.XXXXX.com/category/zizhucan/weigongcun
       Samas tingimusliku filtri tulemuste lehel, kui kasutajad valivad erinevad sorteerimistingimused, genereeritakse dünaamilised lingid erinevate parameetritega ning isegi kui sorteerimiskriteeriumid on samad (nt kõik müügijärjekorras), on genereeritud parameetrid erinevad. Näiteks: http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek
http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

Grupiostuvõrgus saab ainult otsingumootor indekseerida filtri tulemuste lehte, samas kui erinevate parameetritega tulemuste sorteerimisleht lükkab otsingumootor robotite reeglite kaudu tagasi.
       robots.txt on failikasutuse reegel: keela: /*?*, mis keelab otsingumootoritel ligipääsu kõigile dünaamilistele veebilehele. Nii eelistab veebisait kvaliteetseid lehti ja blokeerib madala kvaliteediga lehekülgi Baiduspiderile, pakkudes Baiduspiderile sõbralikumat veebistruktuuri ja vältides mustade aukude tekkimist.