Під час роботи з сайтом, особливо оптимізації ранжування, ми завжди думаємо про те, як допомогти пошуковим системам обсканувати веб-сторінки та включати їх. Однак часто деякі сайти не хочуть, щоб їх підтримували пошукові системи через різні групи користувачів і цільові регіони, як вирішити цю проблему? Давайте сьогодні вивчимо це з автором Сяо Даном!
Коли ми бачимо, що хочемо блокувати сканування, більшість SEO-фахівців думають про robots.txt файли. Тому що в нашій когнітивній системі роботизовані файли можуть ефективно сканувати певні сторінки за допомогою пошукової системи Dujie. Але знаєте, хоча цей метод дуже хороший, Сяодань вважає, що він більше підходить для сайту, який не завершений, щоб уникнути мертвого посилання або періоду розслідування в майбутньому.
Якщо ми просто хочемо заблокувати пошукову систему від сканування, нам не потрібно обтяжувати простір, достатньо трохи коду. Наприклад, ми хочемо заблокувати повзання павуків Baidu
Ось і все. Звісно, це просто спосіб заблокувати сканування Baidu, якщо вам потрібна будь-яка пошукова система, просто замініть Baiduspider на павука, який змінює пошукову систему.
Поширені назви павуків у пошукових системах такі:
1. Всеохопний індекс павука BaiduSpider Baidu
2. Googlebot Google Spider
3. Googlebot-Image — це павук, який спеціально використовується для захоплення зображень
4. Mediapartners — Google Ad Affiliate Code Spider
5. Yahoo Slurp Yahoo Spider
6. Ура! Slup China Yahoo China Spider
7. Yahoo!-AdCrawler Yahoo Ad Spider
8. YodaoBot NetEase павук
9. Sosospider Tencent SOSO інтегрований павук
10. Sogou Spider Comprehensive Spider Sogou
11. MSNBot Live інтегрований павук
Однак, якщо ви хочете заблокувати всі пошукові системи, використовуйте робот-файл:
На цьому етапі багато друзів мають зрозуміти, що команда, яка забороняє створення веб-знімків у коді, — це noarchive. Тому, якщо у нас є обмеження для пошукових систем, ми можемо додати код безпосередньо на веб-сторінку відповідно до наших заборонених об'єктів знімків; Навпаки, не додаючи жодного фрагмента коду, ви можете гарантувати, що основні пошукові системи зможуть нормально отримати доступ до сайту та створювати знімки.
(Будь ласка, вкажіть перевидання з: www.wangzhan.net.cn/news/n1913.htm, дякую!) Цінувати плоди чужої праці — це поважати себе! ） |
Опубліковано 13.01.2016 10:16:38
|
|
|
