[Verkkosivuston tuntemus]Hämähäkkien mustien aukkojen välttäminen robottien avulla

Sillä Baidu hakukone, hämähäkki musta aukko viittaa sivuston kautta erittäin alhaiset kustannukset luoda suuri määrä parametreja liikaa, ja sisältö on sama, mutta erityiset parametrit eri dynaamisen URL, kuten loputon silmukka "musta aukko" on hämähäkki loukkuun, Baiduspider tuhlasi suuren määrän resursseja indeksoida on virheellinen verkkosivun.
Esimerkiksi monet sivustot on seulonta toiminto, kautta seulonta toiminto web-sivun on usein suuri määrä hakukoneen indeksoida, ja suuri osa hakuarvo ei ole korkea, kuten "500-1000 hinnat välillä vuokra", ensinnäkin, sivusto (mukaan lukien todellisuus) perus ei ole asiaankuuluvia resursseja, ja toiseksi, sivusto (mukaan lukien todellinen ) ei periaatteessa ole merkityksellisiä resursseja, ja toiseksi sivuston käyttäjillä ja hakukoneen käyttäjillä ei ole tätä hakutapaa. Tällainen verkkosivu on suuri määrä hakukoneen indeksointi, voi vain ottaa sivuston arvokkaan indeksointikiintiön. Joten miten välttää tämä tilanne?
Otamme esimerkkinä Pekingissä sijaitsevan ryhmäostosivuston, jotta näemme, miten sivusto käyttää robotteja välttääkseen taitavasti tämän hämähäkkimustan aukon:

Tavallisella seulontatulossivulla sivusto päätti käyttää staattisia linkkejä, kuten: http://bj.XXXXX.com/category/zizhucan/weigongcun Sama ehto seulontatulossivulla, kun käyttäjä valitsee eri lajitteluehdot, se luo dynaamisen linkin eri parametreilla. dynaamiset linkit, ja jopa samat lajitteluehdot (esim.: ovat myynnin mukaan alenevassa järjestyksessä), luodut parametrit ovat erilaiset.
Esimerkiksi: http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek http://bj.XXXXX.com/category/zizhucan/ weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

Tämän ryhmän ostoverkko, vain anna hakukoneen indeksoida seulonnan tulossivun voi olla, ja kaikenlaisia parametreilla tulokset lajittelusivun kautta robottien säännöt kieltäytyvät antamasta hakukoneelle.
robots.txt-tiedoston käytössä on tällainen sääntö: Disallow: /*? *, eli kieltää hakukoneita pääsemästä kaikkiin sivuston dynaamisiin sivuihin. Tällä tavoin sivusto on juuri Baiduspider prioriteetti näyttää laadukkaita sivuja, estetty heikkolaatuisia sivuja, jotta Baiduspider tarjota ystävällisempi sivuston rakenne, jotta vältetään muodostumista mustia aukkoja.