[Weboldalépítési tudás] Ügyes robotok a pókfekete lyukak elkerülésére

A Baidu keresőmotorban a pókfekete lyuk azt jelenti, hogy a weboldal rengeteg paramétert hoz létre nagyon alacsony költséggel, és dinamikus URL-eket ad hasonló tartalommal, de eltérő specifikus paraméterekkel, akárcsak egy végtelen "fekete lyuk" pókok csapdába ejtő kör, a Baiduspider rengeteg erőforrást pazarol az érvénytelen weboldalak feltérképezésére.
       Például sok weboldalnak van szűrési funkciója, és a szűrési funkció által generált weboldalakat gyakran feltérképezik a keresőmotorok, és ezek nagy része alacsony keresési értékű, például "500-1000 közötti áron bérelt ház", először is, gyakorlatilag nincsenek releváns források a weboldalon (beleértve a valóságot is), másodszor nincs ilyen keresési szokás a weboldalon és a keresőmotorok körében. Az ilyen típusú weboldalakat nagy számban futtatják a keresőmotorok, amelyek csak értékes crawl-kvótát foglalnak el a weboldalon. Hogyan kerülhetné el ezt?
       Vegyünk példának egy pekingi csoportos vásárló weboldalt, hogy lássuk, hogyan használja a weboldal robotokat arra, hogy ügyesen elkerülje ezt a pókfekete lyukat:

Normál szűrő eredményoldalakon az oldal statikus linkeket választ, például http://bj.XXXXX.com/category/zizhucan/weigongcun
       Ugyanebben a feltételes szűrő eredményoldalon, amikor a felhasználók különböző rendezési feltételeket választanak, dinamikus hivatkozások generálódnak különböző paraméterekkel, és még ha ugyanazok a rendezési kritériumok is vannak (pl. mind csökkenő értékesítési sorrendben), a generált paraméterek eltérőek. Például: http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek
http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

A csoportos vásárlási hálózatnál csak a keresőmotor tudja áttekinteni a szűrő eredményoldalát, míg a különböző paraméterekkel rendelkező eredményrendezési oldalt a robotok szabályai alapján elutasítja.
       robots.txt fájlhasználati szabálya van: Disallow: /*?*, amely megtiltja a keresőmotoroknak az összes dinamikus oldalhoz való hozzáférést a weboldalon. Így a weboldal a magas minőségű oldalakat helyezi előtérbe, és blokkolja a gyenge minőségű oldalakat a Baiduspider számára, így barátságosabb weboldal-struktúrát biztosítva a Baiduspider számára, elkerülve a fekete lyukak kialakulását.