[Žinios apie svetainę]Robotai vengia juodųjų skylių voratinklių

Dėl Baidu paieškos sistema, voras juodoji skylė reiškia svetainę per labai mažomis sąnaudomis sukurti daug parametrų per daug, o turinys tas pats, bet specifiniai parametrai skirtingų dinaminių URL, kaip begalinis ciklas "juodoji skylė" bus voras įstrigo, Baiduspider iššvaistė daug išteklių nuskaityti yra negaliojantis tinklalapis.
Pavyzdžiui, daugelis svetainių turi atrankos funkciją, per atrankos funkciją tinklalapyje dažnai bus daug paieškos sistemos nuskaitymo, o didelė dalis paieškos vertės nėra didelė, pavyzdžiui, "500-1000 kainų tarp nuomos", visų pirma, svetainėje (įskaitant realybę) dėl pagrindinių nėra atitinkamų išteklių, ir, antra, svetainėje (įskaitant realybę ) iš esmės nėra svarbių išteklių, o antra, svetainės ir paieškos sistemos naudotojai neturi tokio paieškos įpročio. Tokio pobūdžio tinklalapis yra labai daug paieškos sistemų nuskaitytas, gali tik užimti vertingą svetainės nuskaitymo kvotą. Taigi kaip išvengti šios situacijos?
Kaip pavyzdį imame grupinio pirkimo svetainę Pekine, kad pamatytume, kaip svetainėje naudojant robotus sumaniai išvengiama šios voratinklio juodosios skylės:

http://bj.XXXXX.com/category/zizhucan/weigongcun. Tos pačios sąlygos atrankos rezultatų puslapyje, kai naudotojas pasirenka skirtingas rūšiavimo sąlygas, sukuriama dinaminė nuoroda su skirtingais parametrais. dinamines nuorodas, ir net esant toms pačioms rūšiavimo sąlygoms (pvz.: yra mažėjančia tvarka pagal pardavimus), generuojami skirtingi parametrai.
Pavyzdžiui: http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek http://bj.XXXXX.com/category/zizhucan/ weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

Šiam grupinio pirkimo tinklui leiskite paieškos sistemai nuskaityti tik atrankos rezultatų puslapį, o visų rūšių su rezultatų rūšiavimo puslapio parametrais per robotų taisykles atsisakykite pateikti paieškos sistemai.
Robots.txt failo naudojimas turi tokią taisyklę: Disallow: /*? *, t. y. uždrausti paieškos sistemoms pasiekti visus svetainės dinaminius puslapius. Tokiu būdu svetainė yra būtent Baiduspider prioritetas rodyti aukštos kokybės puslapius, užblokuoti žemos kokybės puslapius, kad Baiduspider pateiktų draugiškesnę svetainės struktūrą, išvengti juodųjų skylių susidarymo.