[Zināšanas par tīmekļa vietni]Izvairīšanās no zirnekļa melnajām caurulēm ar robotiem

Par Baidu meklētājprogrammu, zirneklis melnā caurums attiecas uz tīmekļa vietni, izmantojot ļoti zemas izmaksas, lai izveidotu lielu skaitu parametru pārāk daudz, un saturu, kas ir tāds pats, bet īpašie parametri dažādu dinamisko URL, piemēram, bezgalīga cilpa "melnā cauruma" būs zirneklis slazdos, Baiduspider izšķērdēta liels skaits resursu, lai pārmeklētu ir nederīga tīmekļa lapa.
Piemēram, daudzām tīmekļa vietnēm ir skrīninga funkcija, izmantojot tīmekļa lapas skrīninga funkciju, bieži vien būs liels skaits meklētājprogrammu pārmeklēšanas, un liela daļa meklēšanas vērtības nav augsta, piemēram, "500-1000 cenas starp īres", pirmkārt, tīmekļa vietne (tostarp realitāte) par pamata nav attiecīgo resursu, un, otrkārt, tīmekļa vietne (tostarp reālā ) pamatā nav atbilstošu resursu, un, otrkārt, vietnes lietotājiem un meklētājprogrammu lietotājiem nav šāda meklēšanas ieraduma. Šāda veida tīmekļa vietne ir liels skaits meklētājprogrammu pārmeklēšanas, var tikai aizņemt vietnes vērtīgo pārmeklēšanas kvotu. Kā izvairīties no šādas situācijas?
Kā piemēru ņemam grupu pirkšanas vietni Pekinā, lai redzētu, kā vietnē tiek izmantoti roboti, lai gudri izvairītos no šī zirnekļa melnā cauruma:

Parastai atlases rezultātu lapai vietne izvēlējās izmantot statiskas saites, piemēram: http://bj.XXXXX.com/category/zizhucan/weigongcun. Tādu pašu nosacījumu atlases rezultātu lapā, kad lietotājs izvēlas dažādus šķirošanas nosacījumus, tiek ģenerēta dinamiska saite ar dažādiem parametriem. Dinamiskās saites, un pat vienādi šķirošanas nosacījumi (piemēram, ir dilstošā secībā pēc pārdošanas apjoma), ģenerētie parametri ir atšķirīgi.
Piemēram: http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek http://bj.XXXXX.com/category/zizhucan/ weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

Šim grupas pirkšanas tīklam ļaujiet meklētājprogrammai pārmeklēt tikai skrīninga rezultātu lapu, un visu veidu ar parametriem šķirošanas lapas rezultātus, izmantojot robotu noteikumus, var atteikties sniegt meklētājprogrammai.
Robots.txt faila lietojumā ir šāds noteikums: Disallow: /*? *, tas ir, aizliegt meklētājprogrammām piekļūt visām vietnes dinamiskajām lapām. Šādā veidā vietnē tieši Baiduspider prioritāte ir parādīt augstas kvalitātes lapas, bloķēt zemas kvalitātes lapas, lai Baiduspider nodrošinātu draudzīgāku vietnes struktūru, izvairīties no melno caurumu veidošanās.