[Γνώση Ιστοσελίδας]Αποφυγή μαύρων τρυπών αράχνης με ρομπότ

Για τη μηχανή αναζήτησης Baidu, η μαύρη τρύπα αράχνη αναφέρεται στην ιστοσελίδα μέσω του πολύ χαμηλού κόστους για τη δημιουργία ενός μεγάλου αριθμού παραμέτρων πάρα πολύ, και το περιεχόμενο του ίδιου, αλλά οι συγκεκριμένες παράμετροι της διαφορετικής δυναμικής διεύθυνσης URL, όπως ένας άπειρος βρόχος της "μαύρης τρύπας" θα παγιδευτεί αράχνη, Baiduspider σπατάλησε ένα μεγάλο αριθμό πόρων για να ανιχνεύσει είναι άκυρη ιστοσελίδα.
Για παράδειγμα, πολλοί ιστότοποι έχουν μια λειτουργία διαλογής, μέσω της λειτουργίας διαλογής της ιστοσελίδας θα είναι συχνά ένας μεγάλος αριθμός μηχανών αναζήτησης σέρνεται, και ένα μεγάλο μέρος της αξίας αναζήτησης δεν είναι υψηλή, όπως "500-1000 τιμές μεταξύ των ενοικίων", πρώτα απ 'όλα, η ιστοσελίδα (συμπεριλαμβανομένης της πραγματικότητας) στη βασική καμία σχετική πόρων, και δεύτερον, η ιστοσελίδα (συμπεριλαμβανομένης της πραγματικής ) δεν είναι βασικά σχετικοί πόροι, και δεύτερον, οι χρήστες του ιστότοπου και οι χρήστες των μηχανών αναζήτησης δεν έχουν αυτή τη συνήθεια αναζήτησης. Αυτό το είδος της ιστοσελίδας είναι ένας μεγάλος αριθμός των μηχανών αναζήτησης ερπυσμού, μπορεί να πάρει μόνο την πολύτιμη ποσόστωση ερπυσμού του ιστότοπου. Πώς λοιπόν να αποφύγετε αυτή την κατάσταση;
Παίρνουμε ως παράδειγμα έναν ιστότοπο ομαδικής αγοράς στο Πεκίνο, για να δούμε πώς ο ιστότοπος είναι η χρήση ρομπότ για να αποφύγετε έξυπνα αυτή τη μαύρη τρύπα αράχνης:

Για τη συνηθισμένη σελίδα αποτελεσμάτων διαλογής, ο ιστότοπος επέλεξε να χρησιμοποιήσει στατικούς συνδέσμους, όπως: http://bj.XXXXX.com/category/zizhucan/weigongcun Η σελίδα αποτελεσμάτων διαλογής με την ίδια συνθήκη, όταν ο χρήστης επιλέξει διαφορετικές συνθήκες διαλογής, θα δημιουργήσει έναν δυναμικό σύνδεσμο με διαφορετικές παραμέτρους. δυναμικούς συνδέσμους, και ακόμη και τις ίδιες συνθήκες διαλογής (π.χ.: είναι σε φθίνουσα σειρά με βάση τις πωλήσεις), οι παράμετροι που παράγονται είναι διαφορετικές.
Για παράδειγμα: http://bj.XXXXX.com/category/zizhucan/weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqhek http://bj.XXXXX.com/category/zizhucan/ weigongcun/hot?mtt=1.index%2Fpoi.0.0.i1afqi5c

Για αυτό το δίκτυο ομαδικής αγοράς, αφήστε μόνο τη μηχανή αναζήτησης να ανιχνεύσει τη σελίδα αποτελεσμάτων διαλογής μπορεί να είναι, και όλα τα είδη με παραμέτρους των αποτελεσμάτων της σελίδας διαλογής μέσω των κανόνων ρομπότ αρνούνται να παρέχουν στη μηχανή αναζήτησης.
Η χρήση του αρχείου robots.txt έχει έναν τέτοιο κανόνα: Disallow: /*? *, δηλαδή να απαγορεύει στις μηχανές αναζήτησης να έχουν πρόσβαση σε όλες τις δυναμικές σελίδες του ιστότοπου. Με αυτόν τον τρόπο, ο ιστότοπος είναι ακριβώς Baiduspider προτεραιότητα για να δείξει υψηλής ποιότητας σελίδες, μπλοκαρισμένες τις σελίδες χαμηλής ποιότητας, για Baiduspider να παρέχει μια πιο φιλική δομή του ιστότοπου, για να αποφευχθεί ο σχηματισμός των μαύρων τρυπών.