[Nettstedskunnskap]Unngå svarte hull i edderkoppen med roboter

For Baidu søkemotor, refererer edderkoppen svart hull til nettstedet gjennom svært lave kostnader for å skape et stort antall parametere for mye, og innholdet i det samme, men de spesifikke parametrene til de forskjellige dynamiske URL, som en uendelig sløyfe av "svart hull" vil edderkopp fanget, Baiduspider bortkastet et stort antall ressurser til å gjennomsøke er ugyldig webside.
For eksempel, mange nettsteder har en screening funksjon, gjennom screening funksjon av nettsiden vil ofte være et stort antall søkemotor gjennomsøking, og en stor del av søkeverdien er ikke høy, for eksempel "500-1000 priser mellom utleie", først av alt, nettstedet (inkludert virkeligheten) på grunnleggende ingen relevante ressurser, og for det andre, nettstedet (inkludert den virkelige ) er i utgangspunktet ingen relevante ressurser, og for det andre har brukerne av nettstedet og søkemotorbrukere ikke denne søkevanen. Denne typen webside er et stort antall søkemotorer som gjennomsøker, kan bare ta opp nettstedets verdifulle gjennomsøkingskvote. Så hvordan unngå denne situasjonen?
Vi tar et gruppekjøpsnettsted i Beijing som et eksempel for å se hvordan nettstedet bruker roboter for å unngå dette edderkoppens svarte hull på en smart måte:

For vanlig screening resultatside, valgte nettstedet å bruke statiske lenker, for eksempel: http://bj.XXXXX.com/category/zizhucan/weigongcun Den samme betingelsen screening resultatside, når brukeren velger en annen sorteringsforhold, vil det generere en dynamisk lenke med forskjellige parametere. dynamiske lenker, og selv de samme sorteringsbetingelsene (f.eks.: er i synkende rekkefølge etter salg), er parameterne som genereres forskjellige.
For eksempel: http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek http://bj.XXXXX.com/category/zizhucan/ weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

For denne gruppen kjøpe nettverk, bare la søkemotoren gjennomsøke screening resultatsiden kan være, og alle typer med parametere av resultatene av sorteringssiden gjennom roboter regler nekter å gi til søkemotoren.
robots.txt filbruk har en slik regel: Disallow: / *? *, det vil si å forby søkemotorer fra å få tilgang til alle dynamiske sider på nettstedet. På denne måten, nettstedet er nøyaktig Baiduspider prioritet for å vise sider av høy kvalitet, blokkert sidene av lav kvalitet, for Baiduspider å gi en mer vennlig nettstedstruktur, for å unngå dannelsen av svarte hull.