1. Header permintaan HTTP
Setiap kali permintaan HTTP dikirim ke server, sekumpulan atribut dan informasi konfigurasi diteruskan, yang merupakan header permintaan HTTP. Karena header permintaan yang dikirim oleh browser berbeda dari header permintaan yang dikirim oleh kode crawler, kemungkinan besar akan ditemukan oleh anti-crawler, yang mengakibatkan pemblokiran IP.
2. Pengaturan cookie
Situs web melacak kunjungan Anda melalui cookie dan segera menghentikan kunjungan Anda jika perilaku perayap terdeteksi, seperti mengisi formulir dengan sangat cepat atau menjelajahi sejumlah besar halaman dalam waktu singkat. Disarankan untuk memeriksa cookie yang dihasilkan oleh situs web ini dalam proses pengumpulan situs web, dan kemudian pikirkan mana yang perlu ditangani oleh perayap.
3. Jalur akses
Jalur akses crawler umum selalu sama, dan mudah dikenali oleh anti-crawler, mencoba mensimulasikan akses pengguna, dan mengakses halaman secara acak.
4. Frekuensi kunjungan
Sebagian besar alasan pemblokiran IP adalah karena frekuensi aksesnya terlalu cepat, lagipula, mereka ingin menyelesaikan tugas perayap dengan cepat, tetapi kecepatannya tidak tercapai, dan efisiensi menurun setelah IP diblokir.
Strategi dasar anti-crawler adalah, tentu saja, beberapa anti-crawler yang lebih ketat, tidak hanya ini, yang mengharuskan insinyur anti-crawler untuk perlahan-lahan mempelajari strategi anti-crawler dari situs web target, dengan peningkatan strategi anti-crawler yang terus menerus, strategi crawler juga perlu terus ditingkatkan, ditambah dengan IP proxy yang efisien dan berkualitas tinggi, pekerjaan crawler dapat dilakukan secara efisien.
|
Diposting pada 12/07/2019 17.22.08
|
|
|
Diposting pada 12/07/2019 19.01.50