Bij het uitvoeren van website-operaties, vooral het optimaliseren van websiteranking, denken we altijd na over hoe we zoekmachine-spiders kunnen begeleiden om webpagina's te crawlen en op te nemen. Toch willen sommige websites vaak niet door zoekmachines gepatroniseerd worden vanwege de verschillende gebruikersgroepen en doelgebieden; hoe lossen we dit probleem op? Laten we het vandaag bestuderen met de auteur Xiao Dan!
Als we zien dat we crawling willen blokkeren, denken de meeste SEO's aan robots.txt bestanden. Omdat robotbestanden in onze cognitie bepaalde pagina's effectief kunnen doorzoeken via de Dujie-zoekmachine. Maar weet je, hoewel deze methode erg goed is, denkt Xiaodan dat het geschikter is voor een website die niet is voltooid, om een dood links of een onderzoeksperiode in de toekomst te vermijden.
Als we alleen een zoekmachine willen blokkeren zodat deze kan crawlen, hoeven we de ruimte niet te belasten, we gebruiken gewoon een beetje code. We willen bijvoorbeeld Baidu-spinnen tegenhouden om te kruipen
Dat is het. Natuurlijk is dit gewoon een manier om Baidu-crawling te blokkeren; als je een zoekmachine wilt, vervang Baiduspider dan door een spin die de zoekmachine verandert.
Veelvoorkomende zoekmachine-spidernamen zijn als volgt:
1. BaiduSpider Baidu's uitgebreide indexspin
2. Googlebot Google Spider
3. Googlebot-Image is een spin die speciaal wordt gebruikt om afbeeldingen te verzamelen
4. Mediapartners-Google Ad Affiliate Code Spider
5. Yahoo Slurp Yahoo Spider
6、Yahoo! Slup China Yahoo China Spider
7. Yahoo!-AdCrawler Yahoo Ad Spider
8. YodaoBot NetEase spin
9. Sosospider Tencent SOSO geïntegreerde spin
10. Sogou Spin Sogou uitgebreide spin
11. MSNBot Live geïntegreerde spin
Als je echter alle zoekmachines wilt blokkeren, gebruik dan een robotbestand:
Op dit punt zouden veel vrienden moeten begrijpen dat het commando dat het maken van websnapshots in de code verbiedt noarchive is. Daarom kunnen we, als we beperkingen hebben op zoekmachines, de code direct aan de webpagina toevoegen volgens onze verboden snapshot-objecten; Integendeel, zonder ook maar één stukje code toe te voegen, kun je ervoor zorgen dat grote zoekmachines normaal toegang krijgen tot de website en snapshots kunnen maken.
(Geef alstublieft de herdruk aan van: www.wangzhan.net.cn/news/n1913.htm, dank u wel!) De vruchten van andermans arbeid koesteren betekent respect voor jezelf! ） |
Geplaatst op 13-01-2016 10:16:38
|
|
|
