Saat melakukan pengoperasian situs web, terutama optimasi peringkat situs web, kami selalu memikirkan bagaimana memandu spider mesin pencari untuk merayapi halaman web dan memasukkannya. Namun, sering kali beberapa situs web tidak ingin dilindungi oleh mesin pencari karena kelompok pengguna dan wilayah target yang berbeda, bagaimana kita mengatasi masalah ini? Mari kita pelajari dengan penulis Xiao Dan hari ini!
Ketika kita melihat bahwa kita ingin memblokir crawling, sebagian besar SEO memikirkan file robots.txt. Karena dalam kognisi kita, file robot dapat secara efektif merayapi halaman tertentu oleh mesin pencari Dujie. Tapi tahukah Anda, meskipun metode ini sangat bagus, Xiaodan berpikir lebih cocok untuk situs web yang belum selesai, untuk menghindari tautan mati atau masa investigasi di masa mendatang.
Jika kita hanya ingin memblokir mesin pencari agar tidak merayap, kita tidak perlu membebani ruang, cukup gunakan sedikit kode. Misalnya, kita ingin memblokir laba-laba Baidu agar tidak merangkak
Itu saja. Tentu saja, ini hanya cara untuk memblokir perangkak Baidu, jika Anda menginginkan mesin pencari, ganti saja Baiduspider dengan laba-laba yang mengubah mesin pencari.
Nama laba-laba mesin pencari yang umum adalah sebagai berikut:
1. Laba-laba indeks BaiduSpider komprehensif Baidu
2. Googlebot Google Spider
3. Googlebot-Image adalah laba-laba yang khusus digunakan untuk mengambil gambar
4. Mediapartners-Google Ad Affiliate Code Spider
5. Yahoo Menyeruput Yahoo Spider
6 、 Yahoo! Slup Cina Yahoo China Laba-laba
7. Yahoo!-AdCrawler Yahoo Laba-laba Iklan
8. Laba-laba YodaoBot NetEase
9. Laba-laba terintegrasi Sosospider Tencent SOSO
10. Laba-laba Sogou Laba-laba komprehensif Sogou
11. Laba-laba terintegrasi MSNBot Live
Namun, jika Anda ingin memblokir semua mesin pencari, maka gunakan file robot:
Pada titik ini, banyak teman harus memahami bahwa perintah yang melarang pembuatan snapshot web dalam kode bukanlah arsip. Oleh karena itu, jika kita memiliki batasan pada mesin pencari, kita dapat menambahkan kode langsung ke halaman web sesuai dengan objek snapshot kita yang dilarang; Sebaliknya, tanpa menambahkan satu kode pun, Anda dapat memastikan bahwa mesin pencari utama dapat mengakses situs web secara normal dan membuat snapshot.
(Tolong tunjukkan cetak ulang dari: www.wangzhan.net.cn/news/n1913.htm, terima kasih!) Menghargai buah kerja orang lain berarti menghormati diri sendiri! ） |
Diposting pada 13/01/2016 10.16.38
|
|
|
