[Weboldal tudás]Pókok fekete lyukak elkerülése robotokkal

A Baidu keresőmotor, a pók fekete lyuk utal a honlapon keresztül a nagyon alacsony költségű, hogy hozzon létre nagyszámú paraméterek túl sok, és a tartalom ugyanaz, de a konkrét paraméterek a különböző dinamikus URL, mint egy végtelen hurok a "fekete lyuk" lesz pók csapdába esett, Baiduspider elvesztegetett nagyszámú erőforrás feltérképezése érvénytelen weboldal.
Például, sok weboldal van egy szűrési funkció, a szűrési funkció a weboldal gyakran lesz nagyszámú keresőmotor mászni, és egy nagy része a keresési érték nem magas, mint például "500-1000 árak között a bérleti", először is, a weboldal (beleértve a valóságot) az alapvető nem releváns források, és másodszor, a weboldal (beleértve a valós ) alapvetően nincs releváns erőforrás, másodszor pedig a webhely felhasználói és a keresőmotor felhasználói nem rendelkeznek ezzel a keresési szokással. Ez a fajta weboldal nagyszámú keresőmotor feltérképezése, csak a webhely értékes feltérképezési kvótáját veheti igénybe. Tehát hogyan lehet elkerülni ezt a helyzetet?
Példaként egy pekingi csoportos vásárlási oldalt veszünk, hogy lássuk, hogyan használja a webhely a robotok használatát, hogy ügyesen elkerülje ezt a pók fekete lyukat:

A szokásos szűrési eredményoldalon a webhely statikus linkek használatát választotta, például: http://bj.XXXXX.com/category/zizhucan/weigongcun Ugyanaz a feltétel szűrési eredményoldal, amikor a felhasználó más válogatási feltételeket választ, dinamikus linket hoz létre különböző paraméterekkel. dinamikus linkek, és még ugyanazok a válogatási feltételek (pl.: csökkenő sorrendben vannak az eladások szerint), a generált paraméterek eltérőek.
Például: http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek http://bj.XXXXX.com/category/zizhucan/ weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

Ehhez a csoportos vásárlási hálózat, csak hagyja, hogy a keresőmotor kúszás a szűrés eredményoldal lehet, és mindenféle paraméterekkel az eredmények a válogatás oldalon keresztül a robotok szabályok megtagadják, hogy a keresőmotor.
A robots.txt fájl használatának van egy ilyen szabálya: Disallow: /*? *, azaz megtiltja a keresőmotoroknak, hogy hozzáférjenek a webhely összes dinamikus oldalához. Ily módon a webhely pontosan Baiduspider prioritás, hogy megmutassa a kiváló minőségű oldalakat, blokkolta az alacsony minőségű oldalakat, a Baiduspider számára, hogy egy barátságosabb webhelyszerkezetet biztosítson, hogy elkerülje a fekete lyukak kialakulását.