[Webbplatskunskap]Undvika svarta hål i spindlar med robotar

För Baidu sökmotor, spindel svarta hålet hänvisar till webbplatsen genom den mycket låga kostnaden för att skapa ett stort antal parametrar för mycket, och innehållet i samma men de specifika parametrarna för de olika dynamiska URL, som en oändlig slinga av "svarta hålet" kommer spindel fångad, Baiduspider slösade bort ett stort antal resurser för att krypa är ogiltig webbsida.
Till exempel har många webbplatser en screeningfunktion, genom screeningfunktionen på webbsidan kommer ofta att vara ett stort antal sökmotorsgenomgångar, och en stor del av sökvärdet är inte högt, till exempel "500-1000 priser mellan uthyrningen", först och främst är webbplatsen (inklusive verkligheten) på de grundläggande inga relevanta resurserna, och för det andra är webbplatsen (inklusive den verkliga ) i princip inga relevanta resurser, och för det andra har användarna av webbplatsen och sökmotoranvändarna inte denna sökvana. Den här typen av webbsida är ett stort antal sökmotorgenomgångar, kan bara ta upp webbplatsens värdefulla genomsökningskvot. Så hur kan man undvika denna situation?
Vi tar en gruppköpswebbplats i Peking som ett exempel för att se hur webbplatsen använder robotar för att smart undvika detta svarta spindelhål:

För vanlig screening resultatsida valde webbplatsen att använda statiska länkar, till exempel: http://bj.XXXXX.com/category/zizhucan/weigongcun Samma villkor screening resultatsida, när användaren väljer olika sorteringsvillkor, kommer det att generera en dynamisk länk med olika parametrar. dynamiska länkar, och till och med samma sorteringsvillkor (t.ex.: är i fallande ordning efter försäljning), är de parametrar som genereras olika.
Till exempel: http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek http://bj.XXXXX.com/category/zizhucan/ weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

För detta gruppköpsnätverk, låt bara sökmotorn genomsöka screening resultatsidan kan vara, och alla typer av med parametrar för resultaten av sorteringssidan genom robotarna regler vägrar att ge till sökmotorn.
robots.txt filanvändning har en sådan regel: Disallow: /*? *, det vill säga att förbjuda sökmotorer från att komma åt alla dynamiska sidor på webbplatsen. På detta sätt är webbplatsen exakt Baiduspider-prioritet för att visa högkvalitativa sidor, blockerade sidorna av låg kvalitet, för Baiduspider att ge en mer vänlig webbplatsstruktur, för att undvika bildandet av svarta hål.