[Kunskap om webbplatsbyggande] Smarta robotar för att undvika spindelsvarta hål

För Baidu-sökmotorn syftar spider black hole på att webbplatsen skapar ett stort antal parametrar till mycket låg kostnad, och dynamiska URL:er med liknande innehåll men olika specifika parametrar, precis som en oändlig loop av "svarta hål" som fångar spindlar, Baiduspider slösar mycket resurser på att crawla ogiltiga webbsidor.
       Till exempel har många webbplatser en filtreringsfunktion, och webbsidorna som genereras av filtreringsfunktionen genomsöks ofta av sökmotorer, och en stor del av dem har lågt sökvärde, som "hyra ett hus med ett pris mellan 500–1000", för det första finns det i princip inga relevanta resurser på webbplatsen (inte ens i verkligheten), och för det andra finns det ingen sådan sökvana för användare på sidan och sökmotorer. Denna typ av webbsida genomsöks av sökmotorer i stora mängder, vilket bara kan fylla en värdefull genomsökningskvot på webbplatsen. Så hur kan detta undvikas?
       Låt oss ta en gruppköpswebbplats i Peking som exempel för att se hur webbplatsen använder robotar för att smart undvika detta spindelsvarta hål:

För vanliga filterresultatsidor väljer webbplatsen att använda statiska länkar, såsom http://bj.XXXXX.com/category/zizhucan/weigongcun
       På samma resultatsida för villkorsfilter, när användare väljer olika sorteringsvillkor, genereras dynamiska länkar med olika parametrar, och även om samma sorteringskriterier (t.ex. alla i fallande försäljningsordning) är de genererade parametrarna olika. Till exempel: http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek
http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

För gruppköpsnätverket kan endast sökmotorn genomsöka filterresultatsidan, medan resultatsorteringssidan med olika parametrar avvisas av sökmotorns regler genom robotar.
       robots.txt har en regel för filanvändning: Disallow: /*?*, som förbjuder sökmotorer att komma åt alla dynamiska sidor på webbplatsen. På detta sätt prioriterar webbplatsen högkvalitativa sidor och blockerar lågkvalitativa sidor för Baiduspider, vilket ger Baiduspider en mer användarvänlig webbplatsstruktur och undviker bildandet av svarta hål.