[Tīmekļa vietnes veidošanas zināšanas] Gudri roboti, lai izvairītos no zirnekļu melnajiem caurumiem

Baidu meklētājprogrammai zirnekļa melnais caurums attiecas uz vietni, kas rada lielu skaitu parametru par ļoti zemām izmaksām, un dinamiskiem URL ar līdzīgu saturu, bet dažādiem specifiskiem parametriem, tāpat kā bezgalīga "melnā cauruma" zirnekļu slazdošanas cilpa, Baiduspider tērē daudz resursu, lai pārmeklētu nederīgas tīmekļa lapas.
       Piemēram, daudzām vietnēm ir filtrēšanas funkcija, un filtrēšanas funkcijas ģenerētās tīmekļa lapas bieži pārmeklē meklētājprogrammas, un lielai daļai no tām ir zema meklēšanas vērtība, piemēram, "īrēt māju ar cenu no 500 līdz 1000", pirmkārt, vietnē būtībā nav atbilstošu resursu (tostarp patiesībā), un, otrkārt, nav šāda meklēšanas ieraduma vietnes lietotājiem un meklētājprogrammu lietotājiem. Šāda veida tīmekļa lapas meklētājprogrammas pārmeklē lielā skaitā, kas var aizņemt tikai vērtīgu pārmeklēšanas kvotu vietnē. Tātad, kā no tā var izvairīties?
       Ņemsim grupas pirkšanas vietni Pekinā kā piemēru, lai redzētu, kā vietne izmanto robotus, lai gudri izvairītos no šī zirnekļa melnā cauruma:

Parastās filtrēšanas rezultātu lapās vietne izvēlas izmantot statiskas saites, piemēram, http://bj.XXXXX.com/category/zizhucan/weigongcun
       Tajā pašā nosacījuma filtra rezultātu lapā, kad lietotāji atlasa dažādus kārtošanas nosacījumus, tiks ģenerētas dinamiskās saites ar dažādiem parametriem, un pat tad, ja tiek izmantoti vieni un tie paši kārtošanas kritēriji (piemēram, visi dilstošā pārdošanas secībā), ģenerētie parametri ir atšķirīgi. Piemēram: http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek
http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

Grupu pirkšanas tīklā tikai meklētājprogramma var pārmeklēt filtra rezultātu lapu, bet rezultātu šķirošanas lapu ar dažādiem parametriem meklētājprogramma noraida, izmantojot robotu noteikumus.
       robots.txt ir noteikums failu izmantošanā: Neatļaut: /*?*, kas aizliedz meklētājprogrammām piekļūt visām dinamiskajām lapām vietnē. Tādā veidā vietne piešķir prioritāti augstas kvalitātes lapām un bloķē zemas kvalitātes lapas Baiduspider, nodrošinot Baiduspider draudzīgāku vietnes struktūru un izvairoties no melno caurumu veidošanās.