Χωρίς IP διακομιστή μεσολάβησης, η εργασία του ανιχνευτή θα είναι δύσκολη, επομένως πολλοί μηχανικοί ανίχνευσης πρέπει να αγοράσουν αποτελεσματική και σταθερή IP διακομιστή μεσολάβησης. Με μια IP μεσολάβησης υψηλής ποιότητας, μπορείτε να καθίσετε και να χαλαρώσετε; Τα πράγματα δεν είναι τόσο απλά και είναι επίσης απαραίτητο να βελτιστοποιηθεί το σχέδιο, να κατανεμηθούν ορθολογικά οι πόροι, να βελτιωθεί η αποδοτικότητα της εργασίας και να εκτελεστούν οι εργασίες ανίχνευσης πιο αποτελεσματικά, ταχύτερα και πιο σταθερά.
Επιλογή 1: Κάθε διεργασία επιλέγει τυχαία μια λίστα IP από το API διεπαφής (για παράδειγμα, εξαγωγή 100 IP κάθε φορά) για να τις περιηγηθεί και, στη συνέχεια, καλεί το API για να τις αποκτήσει εάν αποτύχει και η γενική λογική είναι η εξής:
1. Κάθε διεργασία (ή νήμα) ανακτά τυχαία μια παρτίδα IP από τη διεπαφή και προσπαθεί να ανακτήσει δεδομένα από τη λίστα IP σε έναν βρόχο.
2. Εάν η πρόσβαση είναι επιτυχής, συνεχίστε να αρπάζετε την επόμενη.
3. Εάν αποτύχει (όπως χρονικό όριο, κωδικός επαλήθευσης κ.λπ.), πάρτε μια παρτίδα IP από τη διεπαφή και συνεχίστε να προσπαθείτε.
Μειονεκτήματα της λύσης: Κάθε IP έχει ημερομηνία λήξης, εάν εξαχθούν 100, όταν χρησιμοποιείται η 10η, τα περισσότερα από τα τελευταία μπορεί να είναι άκυρα. Εάν ρυθμίσετε ένα αίτημα HTTP με χρονικό όριο σύνδεσης 3 δευτερολέπτων και χρονικό όριο ανάγνωσης 5 δευτερολέπτων, μπορεί να χάσετε 3-8 δευτερόλεπτα χρόνου και ίσως αυτά τα 3-8 δευτερόλεπτα μπορούν να αρπάξουν δεκάδες φορές.
Επιλογή 2: Κάθε διεργασία παίρνει μια τυχαία IP από το API διεπαφής για χρήση και, στη συνέχεια, καλεί το API για να αποκτήσει μια IP εάν αποτύχει, η γενική λογική είναι η εξής:
1. Κάθε διεργασία (ή νήμα) ανακτά τυχαία μια IP από τη διεπαφή και χρησιμοποιεί αυτήν την IP για πρόσβαση σε πόρους.
2. Εάν η πρόσβαση είναι επιτυχής, συνεχίστε να αρπάζετε την επόμενη.
3. Εάν αποτύχει (όπως χρονικό όριο, κωδικός επαλήθευσης κ.λπ.), επιλέξτε τυχαία μια IP από τη διεπαφή και συνεχίστε να προσπαθείτε.
Μειονεκτήματα: Η κλήση API για τη λήψη διευθύνσεων IP είναι πολύ συχνή, γεγονός που θα ασκήσει μεγάλη πίεση στον διακομιστή μεσολάβησης, θα επηρεάσει τη σταθερότητα της διεπαφής API και ενδέχεται να περιοριστεί η εξαγωγή. Αυτό το σύστημα δεν είναι επίσης κατάλληλο και δεν μπορεί να λειτουργήσει με βιώσιμο και σταθερό τρόπο.
Επιλογή 3: Αρχικά, εξαγάγετε μεγάλο αριθμό IP και εισαγάγετε τις στην τοπική βάση δεδομένων και, στη συνέχεια, πάρτε την IP από τη βάση δεδομένων, η γενική λογική είναι η εξής:
1. Δημιουργήστε έναν πίνακα στη βάση δεδομένων, γράψτε ένα σενάριο εισαγωγής, ζητήστε το API ανά λεπτό (συμβουλευτείτε τις προτάσεις του παρόχου υπηρεσιών IP μεσολάβησης) και εισαγάγετε τη λίστα IP στη βάση δεδομένων.
2. Καταγράψτε τον χρόνο εισαγωγής, την IP, τη θύρα, τον χρόνο λήξης, την κατάσταση διαθεσιμότητας IP και άλλα πεδία στη βάση δεδομένων.
3. Γράψτε ένα σενάριο αρπαγής, το σενάριο καβουριών διαβάζει τη διαθέσιμη IP από τη βάση δεδομένων και κάθε διαδικασία λαμβάνει μια IP από τη βάση δεδομένων για χρήση.
4. Εκτελέστε ανίχνευση, κρίνετε τα αποτελέσματα, επεξεργαστείτε τα cookies κ.λπ., εφόσον υπάρχει κωδικός επαλήθευσης ή αποτυχία, εγκαταλείψτε αυτήν την IP και αλλάξτε σε νέα IP.
Αυτή η λύση αποφεύγει αποτελεσματικά την κατανάλωση πόρων διακομιστή μεσολάβησης, κατανέμει αποτελεσματικά τη χρήση IP διακομιστή μεσολάβησης, είναι πιο αποτελεσματική και σταθερή και διασφαλίζει την ανθεκτικότητα και τη σταθερότητα της εργασίας του ανιχνευτή. |
Δημοσιεύτηκε στις 17/7/2018 1:54:35 μ.μ.
|
|
|
Δημοσιεύτηκε στις 18/7/2018 2:50:55 μ.μ.
|
