Ao operar um site, especialmente otimização de ranqueamento, sempre pensamos em como guiar os mecanismos de busca para rastrear páginas e incluí-las. No entanto, muitas vezes alguns sites não querem ser frequentados pelos mecanismos de busca devido aos diferentes grupos de usuários e regiões alvo, como resolver esse problema? Vamos estudar com a autora Xiao Dan hoje!
Quando vemos que queremos bloquear o rastreamento, a maioria dos SEOs pensa em arquivos robots.txt. Porque, em nossa cognição, arquivos robóticos podem rastrear certas páginas de forma eficaz pelo mecanismo de busca Dujie. Mas sabe, embora esse método seja muito bom, Xiaodan acha que é mais adequado para o site que não está concluído, para evitar o link morto ou o período de investigação no futuro.
Se só queremos bloquear um mecanismo de busca para que rastreie, não precisamos sobrecarregar o espaço, basta usar um pouco de código. Por exemplo, queremos bloquear aranhas Baidu de rastejar
É isso. Claro, isso é só uma forma de bloquear o rastreamento do Baidu; se você quiser qualquer mecanismo de busca, basta substituir o Baiduspider por um spider que altera o mecanismo de busca.
Os nomes comuns de aranha dos mecanismos de busca são os seguintes:
1. BaiduAranha A aranha índice abrangente de Baidu
2. Googlebot Google Spider
3. Googlebot-Image é uma aranha especialmente usada para capturar imagens
4. Mediapartners-Google Ads Código de Código de Afiliados
5. Yahoo Slurp Yahoo Spider
6、Yahoo! Slup China Yahoo China Spider
7. Yahoo!-AdCrawler Yahoo Aranha de Anúncios
8. Aranha YodaoBot NetEase
9. Sosospider Tencent Aranha integrada SOSO
10. Aranha Sogou Aranha abrangente Sogou
11. Aranha integrada MSNBot Live
No entanto, se você quiser bloquear todos os mecanismos de busca, use um arquivo robótico:
A essa altura, muitos amigos já devem entender que o comando que proíbe a criação de snapshots web no código é o noarchive. Portanto, se tivermos restrições nos mecanismos de busca, podemos adicionar o código diretamente à página web de acordo com nossos objetos snapshot proibidos; Pelo contrário, sem adicionar um único pedaço de código, você pode garantir que os principais mecanismos de busca acessem o site normalmente e criem snapshots.
(Por favor, indique a reimpressão de: www.wangzhan.net.cn/news/n1913.htm, obrigado!) Valorizar os frutos do trabalho alheio é respeitar a si mesmo! ） |
Publicado em 13/01/2016 10:16:38
|
|
|
