[Website-Wissen]Schwarze Löcher für Spinnen mit Robotern vermeiden

Für Baidu Suchmaschine, die Spinne schwarzes Loch bezieht sich auf die Website durch die sehr niedrigen Kosten, um eine große Anzahl von Parametern zu viel zu schaffen, und der Inhalt der gleichen, aber die spezifischen Parameter der verschiedenen dynamischen URL, wie eine Endlosschleife des "schwarzen Loch" wird Spinne gefangen, Baiduspider verschwendet eine große Anzahl von Ressourcen zu kriechen ist ungültig Web-Seite.
Zum Beispiel haben viele Websites eine Screening-Funktion, durch die Screening-Funktion der Web-Seite wird oft eine große Anzahl von Suchmaschinen-Crawl, und ein großer Teil der Suche Wert ist nicht hoch, wie z. B. "500-1000 Preise zwischen der Vermietung", vor allem die Website (einschließlich der Realität) auf die grundlegende keine relevanten Ressourcen, und zweitens, die Website (einschließlich der realen ) ist im Grunde keine relevanten Ressourcen, und zweitens, die Nutzer der Website und Suchmaschinen-Nutzer haben nicht diese Suche Gewohnheit. Diese Art von Web-Seite ist eine große Anzahl von Suchmaschinen-Crawling, kann nur nehmen die Website wertvolle Crawling-Quote. Wie lässt sich diese Situation also vermeiden?
Wir nehmen eine Gruppe-Buying-Website in Peking als Beispiel, um zu sehen, wie die Website ist die Verwendung von Robotern, um geschickt zu vermeiden, diese Spinne schwarzes Loch:

Für gewöhnliche Screening-Ergebnisse Seite, die Website wählte statische Links zu verwenden, wie zum Beispiel: http://bj.XXXXX.com/category/zizhucan/weigongcun Die gleiche Bedingung Screening-Ergebnisse Seite, wenn der Benutzer eine andere Sortierung Bedingungen wählt, wird es einen dynamischen Link mit unterschiedlichen Parametern zu erzeugen. Bei dynamischen Links und selbst bei gleichen Sortierbedingungen (z. B. absteigend nach Umsatz) sind die generierten Parameter unterschiedlich.
Zum Beispiel: http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek http://bj.XXXXX.com/category/zizhucan/ weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

Für diese Gruppe-Kauf-Netzwerk, nur lassen Sie die Suchmaschine crawlen die Screening-Ergebnisse Seite sein kann, und alle Arten von mit Parametern der Ergebnisse der Sortierung Seite durch die Robots-Regeln verweigern, um die Suchmaschine zu liefern.
robots.txt Datei Verwendung hat eine solche Regel: Disallow: /*? *, das heißt, um Suchmaschinen den Zugriff auf alle dynamischen Seiten der Website zu verbieten. Auf diese Weise ist die Website genau Baiduspider Priorität zu zeigen, qualitativ hochwertige Seiten, blockiert die minderwertige Seiten, für Baiduspider, um eine freundliche Website-Struktur bieten, um die Bildung von schwarzen Löchern zu vermeiden.