[Verkkosivujen rakentamisen tietoa] Älykkäät robotit välttämään hämähäkkimustia aukkoja

Baidu-hakukoneessa hämähäkkimusta aukko tarkoittaa verkkosivustoa, joka luo suuren määrän parametreja hyvin edullisesti, ja dynaamisia URL-osoitteita, joissa on samankaltainen sisältö mutta erilaiset tarkat parametrit, aivan kuten loputon "mustan aukon" vangitseva hämähäkki, Baiduspider tuhlaa paljon resursseja virheellisten verkkosivujen indeksointiin.
       Esimerkiksi monilla verkkosivuilla on suodatustoiminto, ja suodatustoiminnon tuottamat verkkosivut indeksoidaan usein hakukoneiden toimesta, ja suuri osa niistä on matalalla hakuarvolla, kuten "vuokraa talo hinnalla 500–1000", ensinnäkin sivustolla ei käytännössä ole relevantteja resursseja (mukaan lukien todellisuudessa), ja toiseksi sivustolla tai hakukoneiden käyttäjillä ei ole tällaista hakutottumusta. Tämän tyyppisiä verkkosivuja indeksoidaan hakukoneiden toimesta suurissa määrin, mikä vie vain arvokasta indeksointikiintiötä sivustolla. Miten tämä siis voidaan välttää?
       Otetaan esimerkkinä ryhmäostosivusto Pekingissä nähdäksemme, miten sivusto käyttää robotteja välttääkseen tämän hämähäkkimustan aukon:

Normaaleilla suodatintulossivuilla sivusto käyttää staattisia linkkejä, kuten http://bj.XXXXX.com/category/zizhucan/weigongcun
       Samalla ehdollisen suodattimen tulossivulla, kun käyttäjät valitsevat eri lajitteluehdot, generoidaan dynaamisia linkkejä eri parametreilla, ja vaikka lajittelukriteerit olisivat samat (esim. kaikki myyntien laskevassa järjestyksessä), generoidut parametrit ovat erilaisia. Esimerkiksi: http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek
http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

Ryhmäostoverkossa vain hakukone voi indeksoida suodatintulossivun, kun taas hakukoneen eri parametreilla varustettu hakukone hylkää robottien sääntöjen kautta.
       robots.txt on sääntö tiedostojen käytössä: Salli: /*?*, joka estää hakukoneita pääsemästä kaikille verkkosivuston dynaamisille sivuille. Näin verkkosivusto priorisoi korkealaatuisia sivuja ja estää huonolaatuiset sivut Baiduspiderille, tarjoten Baiduspiderille ystävällisemmän verkkosivustorakenteen ja välttäen mustien aukkojen muodostumisen.