検索エンジンがウェブサイトページをクロールするのを防ぐにはどうすればいいですか?

クズども · 掲載地 2016/01/13 10:16:38

ウェブサイト運営、特にランキング最適化を行う際には、常に検索エンジンスパイダーがウェブページをクロールし、含める方法を考えています。しかし、ユーザーグループやターゲット地域の違いから検索エンジンに利用されることを嫌うウェブサイトも多くありますが、この問題をどう解決すればよいのでしょうか? 今日は著者の小丹と一緒に勉強しましょう!

クロールブロックしたいと言うと、多くのSEOはrobots.txtファイルを思い浮かべます。私たちの認知では、ロボットファイルが独傑検索エンジンによって特定のページを効果的にクロールできるからです。しかし、この方法は非常に良いものの、シャオダンは未完成のウェブサイトにより適していると考えています。将来のリンク切れや調査期間を避けるためです。

検索エンジンのクロールをブロックしたいだけなら、スペースに負担をかける必要はなく、少しコードを使えばいいのです。例えば、百度のクモが這うのを防ぎたいのです

それです。もちろん、これはBaiduクロールをブロックする方法に過ぎません。検索エンジンが欲しいなら、Baiduspiderを検索エンジンを変えるスパイダーに置き換えればいいのです。

一般的な検索エンジンのスパイダー名は以下の通りです:

1. 百度スパイダー百度の総合インデックススパイダー

2. Googlebot Google Spider

3. Googlebot-Imageは、画像を掴むために特別に使われるクモです

4. Mediapartners-Google Ad アフィリエイトコードスパイダー

5. ヤフースルプ・ヤフスパイダー

6、ヤフー! スラップチャイナヤフーチャイナスパイダー

7. Yahoo!-AdCrawler Yahoo Ad Spider

8. YodaoBot NetEase スパイダー

9. ソソスパイダーテンセント SOSO統合スパイダー

10. ソゴウ・スパイダー・ソゴウ総合クモ

11. MSNBot Live 統合スパイダー

しかし、すべての検索エンジンをブロックしたい場合は、ロボットファイルを使いましょう:

この時点で、多くの友人はコード内でウェブスナップショットの作成を禁止するコマンドがnoarchiveであることを理解しているはずです。したがって、検索エンジンに制限がある場合、禁止されたスナップショットオブジェクトに従ってコードを直接ウェブページに追加できます。むしろ、コードを一つも追加しなくても、主要な検索エンジンが通常通りウェブサイトにアクセスし、スナップショットを作成できるようにすることができます。

(転載先を www.wangzhan.net.cn/news/n1913.htm からご記入ください。ありがとうございます!) 他人の労働の成果を大切にすることは、自分自身を尊重することです! ）

[ウェブサイト構築知識] 検索エンジンがウェブサイトページをクロールするのを防ぐにはどうすればいいですか?

関連記事

閲覧したセクション