[Web Sitesi Bilgisi]Robotlarla Örümcek Kara Deliklerinden Kaçınmak

Baidu arama motoru için, örümcek kara deliği, çok sayıda parametre oluşturmak için çok düşük maliyetle web sitesini ifade eder ve aynı içerik ancak farklı dinamik URL'nin belirli parametreleri, sonsuz bir döngü gibi "kara delik" örümcek tuzağa düşecek, Baiduspider taramak için çok sayıda kaynağı boşa harcadı geçersiz web sayfası.
Örneğin, birçok web sitesinin bir tarama işlevi vardır, web sayfasının tarama işlevi aracılığıyla genellikle çok sayıda arama motoru taraması olacaktır ve arama değerinin büyük bir kısmı yüksek değildir, örneğin "kiralama arasında 500-1000 fiyat", her şeyden önce, web sitesi (gerçeklik dahil) temelde ilgili kaynaklar yoktur ve ikincisi, web sitesi (gerçek dahil) ) temelde ilgili kaynak yoktur ve ikincisi, sitenin kullanıcıları ve arama motoru kullanıcıları bu arama alışkanlığına sahip değildir. Bu tür bir web sayfası çok sayıda arama motoru taramasıdır, yalnızca sitenin değerli tarama kotasını alabilir. Peki bu durumdan nasıl kaçınılır?
Pekin'deki bir grup satın alma sitesini örnek alarak, sitenin bu örümcek kara deliğinden akıllıca kaçınmak için robotları nasıl kullandığını görüyoruz:

Sıradan tarama sonuçları sayfası için site statik bağlantılar kullanmayı seçti, örneğin: http://bj.XXXXX.com/category/zizhucan/weigongcun Aynı koşul tarama sonuçları sayfası, kullanıcı farklı bir sıralama koşulu seçtiğinde, farklı parametrelere sahip dinamik bir bağlantı oluşturacaktır. Dinamik bağlantılar ve hatta aynı sıralama koşulları (örneğin: satışlara göre azalan sırada), oluşturulan parametreler farklıdır.
Örneğin: http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek http://bj.XXXXX.com/category/zizhucan/ weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

Bu grup satın alma ağı için, sadece arama motorunun tarama sonuçları sayfasını taramasına izin verin ve robots kuralları aracılığıyla sıralama sayfasının sonuçlarının parametreleri ile her türlü arama motoruna vermeyi reddedin.
robots.txt dosyası kullanımında şöyle bir kural vardır: Disallow: /*? *, yani arama motorlarının sitedeki tüm dinamik sayfalara erişimini yasaklamak. Bu sayede site tam olarak Baiduspider önceliğinde yüksek kaliteli sayfaları göstermek, düşük kaliteli sayfaları engellemek, Baiduspider için daha samimi bir site yapısı sağlamak, kara deliklerin oluşmasını engellemektir.