[Знание сайта]Избегание паучьих черных дыр с помощью роботов

Для поисковой системы Baidu, паук черная дыра относится к веб-сайта через очень низкие затраты на создание большого количества параметров слишком много, и содержание же, но конкретные параметры различных динамических URL, как бесконечный цикл "черная дыра" будет паук в ловушку, Baiduspider тратит большое количество ресурсов, чтобы ползать недействительной веб-страницы.
Например, многие веб-сайты имеют функцию отбора, через функцию отбора веб-страницы часто будет большое количество поисковой системы ползать, и большая часть поиска значение не является высоким, таким как "500-1000 цены между арендой", во-первых, сайт (в том числе реальности) на базовом нет соответствующих ресурсов, а во-вторых, сайт (в том числе реальных ) в основном нет соответствующих ресурсов, а во-вторых, пользователи сайта и пользователи поисковых систем не имеют такой поисковой привычки. Подобные веб-страницы в большом количестве переползают поисковыми системами, что может только отнять у сайта ценную квоту на переползание. Как же избежать этой ситуации?
Мы возьмем сайт групповых покупок в Пекине в качестве примера, чтобы увидеть, как сайт использует роботов, чтобы ловко избежать этой паучьей черной дыры:

Для обычной страницы результатов сортировки сайт решил использовать статические ссылки, например: http://bj.XXXXX.com/category/zizhucan/weigongcun На странице результатов сортировки с одинаковыми условиями, когда пользователь выбирает разные условия сортировки, генерируется динамическая ссылка с разными параметрами. Динамические ссылки, причем даже при одинаковых условиях сортировки (например: расположены в порядке убывания по продажам), генерируются разные параметры.
Например: http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek http://bj.XXXXX.com/category/zizhucan/ weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

Для этой сети групповых покупок, только пусть поисковая система ползает по странице результатов сортировки может быть, и все виды с параметрами результатов страницы сортировки через правила robots отказываются предоставлять поисковой системе.
Использование файла robots.txt имеет такое правило: Disallow: /*? *, то есть запретить поисковым системам доступ ко всем динамическим страницам сайта. Таким образом, на сайте именно Baiduspider приоритетно показываются качественные страницы, блокируются некачественные страницы, для Baiduspider обеспечивается более дружественная структура сайта, во избежание образования черных дыр.