[Svetainės kūrimo žinios] Protingi robotai, kad išvengtumėte voratinklinių juodųjų skylių

"Baidu" paieškos sistemoje voratinklis juodoji skylė reiškia, kad svetainė sukuria daugybę parametrų už labai mažą kainą, o dinaminius URL adresus su panašiu turiniu, bet skirtingais specifiniais parametrais, kaip ir begalinė "juodosios skylės" kilpa, gaudanti vorus, "Baiduspider" eikvoja daug išteklių, kad nuskaitytų netinkamus tinklalapius.
       Pavyzdžiui, daugelis svetainių turi filtravimo funkciją, o filtravimo funkcijos sugeneruotus tinklalapius dažnai nuskaito paieškos sistemos, o didelė jų dalis turi mažą paieškos vertę, pavyzdžiui, "namo nuoma, kurios kaina yra nuo 500 iki 1000", visų pirma, svetainėje iš esmės nėra atitinkamų išteklių (taip pat ir realybėje), antra, nėra tokio paieškos įpročio svetainės vartotojams ir paieškos sistemų naudotojams. Tokio tipo tinklalapį paieškos sistemos tikrina daug, o tai gali užimti tik vertingą svetainės nuskaitymo kvotą. Taigi, kaip to išvengti?
       Paimkime grupinio pirkimo svetainę Pekine kaip pavyzdį, kad pamatytume, kaip svetainė naudoja robotus, kad sumaniai išvengtų šios voratinklinės juodosios skylės:

Įprastuose filtravimo rezultatų puslapiuose svetainė pasirenka naudoti statinius saitus, pvz., http://bj.XXXXX.com/category/zizhucan/weigongcun
       Tame pačiame sąlyginio filtro rezultatų puslapyje, kai vartotojai pasirenka skirtingas rūšiavimo sąlygas, bus generuojami dinaminiai saitai su skirtingais parametrais, ir net jei tie patys rūšiavimo kriterijai (pvz., visi mažėjančia pardavimo tvarka), sugeneruoti parametrai skiriasi. Pavyzdžiui: http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek
http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

Grupinio pirkimo tinkle filtro rezultatų puslapį gali nuskaityti tik paieškos sistema, o rezultatų rūšiavimo puslapį su įvairiais parametrais paieškos sistema atmeta pagal robotų taisykles.
       robots.txt turi failų naudojimo taisyklę: Neleisti: /*?*, kuri draudžia paieškos sistemoms pasiekti visus dinaminius svetainės puslapius. Tokiu būdu svetainė teikia pirmenybę aukštos kokybės puslapiams ir blokuoja žemos kokybės "Baiduspider" puslapius, suteikdama "Baiduspider" draugiškesnę svetainės struktūrą ir išvengdama juodųjų skylių susidarymo.