[Знання про створення вебсайту] Розумні роботи, щоб уникати павучих чорних дір

Для пошукової системи Baidu spider black hole означає, що сайт створює велику кількість параметрів за дуже низькою вартістю, а динамічні URL з подібним контентом, але різними специфічними параметрами, як нескінченний цикл «чорної діри», що ловить павуків, Baiduspider витрачає багато ресурсів на пошук недійсних веб-сторінок.
       Наприклад, багато сайтів мають функцію фільтрації, і веб-сторінки, створені цією функцією, часто скануються пошуковими системами, і значна частина з них має низьку цінність пошуку, наприклад, «оренда будинку за ціною від 500 до 1000», по-перше, на сайті практично немає релевантних ресурсів (включно з реальністю), а по-друге, немає такої звички пошуку для користувачів сайту та користувачів пошукових систем. Такий тип веб-сторінки скануються пошуковими системами у великій кількості, які можуть займати лише цінну квоту на сайті. То як цього уникнути?
       Візьмемо приклад сайту для групових покупок у Пекіні, щоб побачити, як сайт використовує роботів, щоб хитро уникати цієї павукоподібної чорної діри:

Для звичайних сторінок з результатами фільтрації сайт обирає статичні посилання, такі як http://bj.XXXXX.com/category/zizhucan/weigongcun
       На тій самій сторінці результатів умовного фільтра, коли користувачі обирають різні умови сортування, генеруються динамічні посилання з різними параметрами, і навіть якщо ті самі критерії сортування (наприклад, усі у спадному порядку продажів), згенеровані параметри відрізняються. Наприклад: http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek
http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

Для мережі групового купівлі лише пошукова система може сканувати сторінку результатів фільтра, тоді як сторінка сортування результатів з різними параметрами відхиляється пошуковою системою за допомогою правил роботів.
       robots.txt має правило щодо використання файлів: Disallow: /*?*, яке забороняє пошуковим системам доступ до всіх динамічних сторінок на сайті. Таким чином, сайт надає пріоритет якісним сторінкам і блокує низькоякісні сторінки для Baiduspider, забезпечуючи Baiduspider більш дружню структуру сайту та уникаючи утворення чорних дір.