[Conocimiento del sitio web]Cómo evitar los agujeros negros de las arañas con robots

Para el motor de búsqueda Baidu, el agujero negro araña se refiere a la página web a través del muy bajo costo para crear un gran número de parámetros demasiado, y el contenido de la misma, pero los parámetros específicos de la URL dinámica diferente, como un bucle infinito del "agujero negro" araña atrapado, Baiduspider desperdiciado un gran número de recursos para rastrear es inválida página web.
Por ejemplo, muchos sitios web tienen una función de detección, a través de la función de detección de la página web será a menudo un gran número de rastreo del motor de búsqueda, y una gran parte del valor de la búsqueda no es alta, como "500-1000 precios entre el alquiler", en primer lugar, el sitio web (incluyendo la realidad) en la base no hay recursos pertinentes, y en segundo lugar, el sitio web (incluyendo el real ) básicamente no hay recursos relevantes, y en segundo lugar, los usuarios del sitio y los usuarios de motores de búsqueda no tienen este hábito de búsqueda. Este tipo de página web es un gran número de motores de búsqueda de rastreo, sólo puede tomar el sitio valiosa cuota de rastreo. Entonces, ¿cómo evitar esta situación?
Tomamos un sitio de compra de grupo en Beijing como un ejemplo, para ver cómo el sitio es el uso de robots para evitar inteligentemente este agujero negro araña:

Para la página de resultados de selección ordinaria, el sitio optó por utilizar enlaces estáticos, tales como: http://bj.XXXXX.com/category/zizhucan/weigongcun La página de resultados de selección de la misma condición, cuando el usuario selecciona una condición de clasificación diferente, se generará un enlace dinámico con diferentes parámetros. enlaces dinámicos, e incluso las mismas condiciones de clasificación (por ejemplo: están en orden descendente por las ventas), los parámetros generados son diferentes.
Por ejemplo: http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek http://bj.XXXXX.com/category/zizhucan/ weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

Para este grupo de compra de la red, sólo dejar que el motor de búsqueda de rastreo de la página de resultados de cribado puede ser, y todo tipo de con los parámetros de los resultados de la página de clasificación a través de las reglas de robots se niegan a proporcionar al motor de búsqueda.
robots.txt uso de archivos tiene una regla: Disallow: /*? *, es decir, prohibir a los motores de búsqueda para acceder a todas las páginas dinámicas en el sitio. De esta manera, el sitio es exactamente Baiduspider prioridad para mostrar páginas de alta calidad, bloqueó las páginas de baja calidad, para Baiduspider para proporcionar una estructura de sitio más amigable, para evitar la formación de agujeros negros.