Când operăm site-uri, în special optimizarea pentru poziționarea site-ului, ne gândim mereu cum să ghidăm spider-ii din motoarele de căutare să scaneze paginile web și să le includăm. Totuși, de multe ori unele site-uri nu doresc să fie frecventate de motoarele de căutare din cauza diferitelor grupuri de utilizatori și regiuni țintă, cum putem rezolva această problemă? Hai să o studiem astăzi cu autorul Xiao Dan!
Când vedem că vrem să blocăm crawling-ul, majoritatea SEO se gândesc la fișierele robots.txt. Pentru că, în cogniția noastră, fișierele roboților pot accesa efectiv anumite pagini prin motorul de căutare Dujie. Dar știi, deși această metodă este foarte bună, Xiaodan crede că este mai potrivită pentru site-ul care nu este finalizat, pentru a evita legătura moartă sau perioada de investigație în viitor.
Dacă vrem doar să blocăm un motor de căutare care să crawleze, nu trebuie să încărcăm spațiul, doar să folosim puțin cod. De exemplu, vrem să blocăm păianjenii Baidu să se târască
Atât. Desigur, aceasta este doar o metodă de a bloca crawling-ul Baidu, dacă vrei orice motor de căutare, înlocuiește Baiduspider cu un păianjen care schimbă motorul de căutare.
Denumirile comune ale păianjenilor din motoarele de căutare sunt următoarele:
1. BaiduSpider Păianjenul index cuprinzător al lui Baidu
2. Googlebot Google Spider
3. Googlebot-Image este un păianjen folosit special pentru a captura imagini
4. Păianjenul codului afiliat Mediapartners-Google Ad
5. Yahoo Slorb Yahoo Spider
6、Yahoo! Slup China Yahoo China Spider
7. Yahoo!-AdCrawler Yahoo Ad Spider
8. Păianjenul YodaoBot NetEase
9. Sosospider Tencent păianjen integrat SOSO
10. Păianjenul Sogou Păianjen cuprinzător Sogou
11. Păianjenul integrat MSNBot Live
Totuși, dacă vrei să blochezi toate motoarele de căutare, folosește un fișier robot:
Până în acest punct, mulți prieteni ar trebui să înțeleagă că comanda care interzice crearea de snapshot-uri web în cod este noarchive. Prin urmare, dacă avem restricții asupra motoarelor de căutare, putem adăuga codul direct pe pagina web conform obiectelor noastre snapshot interzise; Dimpotrivă, fără a adăuga niciun cod, poți asigura că principalele motoare de căutare pot accesa site-ul în mod normal și pot crea instantanee.
(Vă rugăm să indicați reeditarea din: www.wangzhan.net.cn/news/n1913.htm, mulțumesc!) A prețui roadele muncii altora înseamnă să te respecți pe tine însuți! ） |
Postat pe 13.01.2016 10:16:38
|
|
|
