[Veebileht Teadmised]Ämblikute mustade aukude vältimine robotitega

Sest Baidu otsingumootor, ämblik must auk viitab veebilehe kaudu väga madala hinnaga luua suur hulk parameetreid liiga palju, ja sisu sama, kuid konkreetsed parameetrid erinevate dünaamiliste URL, nagu lõputu silmus "must auk" on ämblik lõksus, Baiduspider raisata suur hulk ressursse roomata on kehtetu veebilehe.
Näiteks paljud veebilehed on sõelumisfunktsioon, läbi sõelumisfunktsiooni veebilehe on sageli suur hulk otsingumootori roomata, ja suur osa otsingu väärtus ei ole kõrge, nagu "500-1000 hinnad vahel rent", esiteks, veebileht (sealhulgas tegelikkus) kohta põhilised ei ole asjakohased ressursid, ja teiseks, veebileht (sealhulgas tegelik ) ei ole põhimõtteliselt mingeid asjakohaseid ressursse, ja teiseks ei ole saidi kasutajatel ja otsingumootori kasutajatel seda otsinguharjumust. Selline veebileht on suur hulk otsingumootori roomamise, saab ainult võtta saidi väärtuslik roomamise kvoot. Nii et kuidas vältida seda olukorda?
Me võtame näide grupi ostmise saidi Pekingis, et näha, kuidas sait on robotite kasutamine targalt vältida seda ämblik musta auku:

Tavalise sõelumise tulemuste lehel otsustas sait kasutada staatilisi linke, näiteks: http://bj.XXXXX.com/category/zizhucan/weigongcun Sama tingimus sõelumise tulemuste lehel, kui kasutaja valib erinevad sorteerimistingimused, loob see dünaamilise lingi erinevate parameetritega. dünaamilised lingid ja isegi samad sorteerimistingimused (nt: on müügi järgi kahanevas järjekorras), genereeritud parameetrid on erinevad.
Näiteks: http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek http://bj.XXXXX.com/category/zizhucan/ weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

Selle grupi ostuvõrgustiku jaoks, ainult laske otsingumootoril sõelumise tulemuste lehte roomata ja igasuguseid parameetritega tulemusi sorteerimislehe kaudu robotite reeglite keelduda otsingumootorile pakkuda.
robots.txt faili kasutamisel on selline reegel: Disallow: /*? *, st keelata otsingumootoritele juurdepääs kõigile saidi dünaamilistele lehekülgedele. Sel viisil on sait täpselt Baiduspider prioriteet näidata kvaliteetseid lehekülgi, blokeeritud madala kvaliteediga lehekülgi, et Baiduspider pakkuda sõbralikumat saidi struktuuri, et vältida mustade aukude tekkimist.