[Web Sitesi Oluşturma Bilgisi] Örümcek kara deliklerinden kaçınmak için zeki robotlar

Baidu arama motoru için örümcek kara delik, çok düşük maliyetle çok sayıda parametre oluşturan web sitesi ve benzer içerik ama farklı özel parametrelere sahip dinamik URL'ler yaratması anlamına gelir; tıpkı sonsuz bir "kara delik" hapseden örümcek döngüsü gibi, Baiduspider geçersiz web sayfalarını taramak için çok fazla kaynak harcıyor.
       Örneğin, birçok web sitesinde bir filtreleme fonksiyonu vardır ve filtreleme fonksiyonuyla oluşturulan web sayfaları genellikle arama motorları tarafından taranır; bunların büyük bir kısmı düşük arama değerine sahiptir; örneğin "500-1000 arasında fiyatla ev kiralamak" gibi, birincisi, sitede (gerçekte dahil) neredeyse ilgili kaynaklar yoktur ve ikinci olarak, site içi kullanıcılar ve arama motoru kullanıcıları için böyle bir arama alışkanlığı yoktur. Bu tür web sayfaları, arama motorları tarafından büyük sayılarda taranır ve bu da web sitesinde değerli bir tarama kotasını işgal edebilir. Peki bu nasıl önlenebilir?
       Pekin'deki grup satın alma sitesini örnek olarak alalım, web sitesinin robotları kullanarak bu örümcek kara deliğinden nasıl akıllıca kaçındığını görelim:

Normal filtre sonuç sayfaları için site, statik bağlantılar kullanmayı seçer, örneğin http://bj.XXXXX.com/category/zizhucan/weigongcun
       Aynı koşullu filtre sonuç sayfasında, kullanıcılar farklı sıralama koşulları seçtiğinde, farklı parametrelere sahip dinamik bağlantılar oluşturulur ve aynı sıralama kriterleri olsa bile (örneğin, hepsi satış sırasıyla azalan sırada), üretilen parametreler farklıdır. Örneğin: http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek
http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

Grup satın alma ağı için, sadece arama motoru filtre sonuç sayfasını taramak yapabilirken, çeşitli parametrelere sahip sonuç sıralama sayfası robot kuralları nedeniyle arama motoru tarafından reddedilir.
       robots.txt dosya kullanımında bir kuralı var: Izin verme: /*?*, bu kuralı arama motorlarının web sitesindeki tüm dinamik sayfalara erişmesini engelliyor. Bu şekilde, web sitesi yüksek kaliteli sayfaları önceliklendirir ve düşük kaliteli sayfaları engeller; böylece Baiduspider'a daha dostça bir web sitesi yapısı sağlar ve kara deliklerin oluşumunu önler.