При работе с сайтом, особенно оптимизации рейтинга, мы всегда думаем о том, как направлять поисковых пользователей к обходу веб-страниц и включению их. Однако часто некоторые сайты не хотят, чтобы их поддерживали поисковые системы из-за разных групп пользователей и целевых регионов, как решить эту проблему? Давайте сегодня изучим это с автором Сяо Даном!
Когда мы видим, что хотим блокировать сканирование, большинство SEO-специалистов думают о robots.txt файлах. Потому что в нашем восприятии роботизированные файлы могут эффективно сканировать определённые страницы поисковой системой Dujie. Но знаете, хотя этот метод очень хорош, Сяодань считает, что он больше подходит для незавершённого сайта, чтобы избежать мёртвых ссылок или периода расследования в будущем.
Если мы просто хотим заблокировать поисковую систему от сканирования, нам не нужно нагружать пространство, достаточно немного кода. Например, мы хотим заблокировать ползущие пауки Baidu
Ну вот. Конечно, это просто способ заблокировать сканирование Baidu, если вам нужен любой поисковик, просто замените Baiduspider на паука, который меняет поисковую систему.
Распространённые имена пауков в поисковых системах следующие:
1. BaiduSpider Комплексный индекс паука Baidu
2. Googlebot Google Spider
3. Googlebot-Image — это паук, специально используемый для захвата изображений
4. Mediapartners — Google Ad Affiliate Code Spider
5. Yahoo Slurp Yahoo Spider
6. Ура! Slup China Yahoo China Spider
7. Yahoo!-AdCrawler Yahoo Ad Spider
8. Паук YodaoBot NetEase
9. Sosospider Tencent SOSO интегрированный паук
10. Sogou Spider Comprehensive Spider Sogou
11. Интегрированный паук MSNBot Live
Однако, если вы хотите заблокировать все поисковые системы, используйте робот-файл:
К этому моменту многие друзья должны понимать, что команда, запрещающая создание веб-снимков в коде, — это noarchive. Поэтому, если у нас есть ограничения на поисковые системы, мы можем добавить код напрямую на веб-страницу согласно нашим запрещённым объектам снимков; Наоборот, не добавляя ни одного кода, вы можете гарантировать, что основные поисковые системы смогут нормально заходить на сайт и создавать снимки.
(Пожалуйста, укажите перепечатку от: www.wangzhan.net.cn/news/n1913.htm, спасибо!) Ценить плоды чужого труда — значит уважать себя! ） |
Опубликовано 13.01.2016 10:16:38
|
|
|
