Dieser Artikel ist ein Spiegelartikel der maschinellen Übersetzung, bitte klicken Sie hier, um zum Originalartikel zu springen.

Ansehen: 11657|Antwort: 0

[Website-Aufbau-Wissen] Wie blockiert man Suchmaschinen daran, Webseiten zu crawlen?

[Link kopieren]
Veröffentlicht am 13.01.2016 10:16:38 | | |

Beim Betrieb von Websites, insbesondere bei der Optimierung des Website-Rankings, denken wir immer darüber nach, wie wir Suchmaschinen-Spiders dazu anleiten, Webseiten zu crawlen und einzubeziehen. Viele Websites möchten jedoch nicht von Suchmaschinen bevorzugt werden, weil es unterschiedliche Nutzergruppen und Zielregionen gibt – wie lösen wir dieses Problem? Lass uns es heute mit dem Autor Xiao Dan studieren!   

Wenn wir sehen, dass wir Crawling blocken wollen, denken die meisten SEOs an robots.txt Dateien. Denn in unserer Kognition können Roboterdateien bestimmte Seiten effektiv mit der Dujie-Suchmaschine durchsuchen. Aber wissen Sie, obwohl diese Methode sehr gut ist, denkt Xiaodan, dass sie besser für eine nicht fertiggestellte Website geeignet ist, um einen toten Link oder eine spätere Untersuchungsphase zu vermeiden.   

Wenn wir nur eine Suchmaschine am Crawlen hindern wollen, müssen wir den Platz nicht beanspruchen, sondern nur ein bisschen Code verwenden. Zum Beispiel wollen wir Baidu-Spinnen daran hindern, zu kriechen.

Das wars. Natürlich ist das nur eine Möglichkeit, Baidu-Crawling zu blockieren; wenn du eine Suchmaschine willst, ersetze Baiduspider einfach durch eine Spinne, die die Suchmaschine verändert.   

Gängige Suchmaschinen-Spider-Namen sind wie folgt:   

1. BaiduSpider Baidus umfassender Indexspinne   

2. Googlebot Google Spider   

3. Googlebot-Image ist eine Spinne, die speziell zum Erfassen von Bildern verwendet wird      

4. Mediapartners – Google Ad Affiliate Code Spider   

5. Yahoo Slurp Yahoo Spider   

6、Juhu! Slup China Yahoo China Spider   

7. Yahoo!-AdCrawler Yahoo Ad Spider   

8. YodaoBot NetEase-Spinne   

9. Sosospider Tencent SOSO integrierte Spinne   

10. Sogou Spinne Sogou umfassende Spinne   

11. MSNBot Live-integrierte Spinne   

Wenn Sie jedoch alle Suchmaschinen blockieren wollen, verwenden Sie eine Roboterdatei:

Zu diesem Zeitpunkt sollten viele Freunde verstehen, dass der Befehl, der die Erstellung von Web-Schnappschüssen im Code verbietet, noarchive ist. Daher können wir, wenn wir Einschränkungen für Suchmaschinen haben, den Code gemäß unseren verbotenen Snapshot-Objekten direkt zur Webseite hinzufügen; Im Gegenteil, ohne auch nur einen einzigen Code hinzuzufügen, können Sie sicherstellen, dass große Suchmaschinen die Website normal erreichen und Schnappschüsse erstellen können.     

(Bitte geben Sie den Nachdruck an: www.wangzhan.net.cn/news/n1913.htm, danke!) Die Früchte der Arbeit anderer zu schätzen, bedeutet, sich selbst zu respektieren! )




Vorhergehend:Linux verwendet häufig chmod-Befehle
Nächster:Apple ISO APP zum Crawlen von HTTPS-Paketen
Verzichtserklärung:
Alle von Code Farmer Network veröffentlichten Software, Programmiermaterialien oder Artikel dienen ausschließlich Lern- und Forschungszwecken; Die oben genannten Inhalte dürfen nicht für kommerzielle oder illegale Zwecke verwendet werden, andernfalls tragen die Nutzer alle Konsequenzen. Die Informationen auf dieser Seite stammen aus dem Internet, und Urheberrechtsstreitigkeiten haben nichts mit dieser Seite zu tun. Sie müssen die oben genannten Inhalte innerhalb von 24 Stunden nach dem Download vollständig von Ihrem Computer löschen. Wenn Ihnen das Programm gefällt, unterstützen Sie bitte echte Software, kaufen Sie die Registrierung und erhalten Sie bessere echte Dienstleistungen. Falls es eine Verletzung gibt, kontaktieren Sie uns bitte per E-Mail.

Mail To:help@itsvse.com