웹사이트 운영, 특히 순위 최적화를 할 때, 우리는 항상 검색 엔진 스파이더가 웹 페이지를 크롤하고 포함하도록 유도하는 방법을 고민합니다. 하지만 많은 경우, 일부 웹사이트는 사용자 그룹과 타겟 지역 차이 때문에 검색 엔진의 이용을 꺼려합니다. 이 문제를 어떻게 해결할 수 있을까요? 오늘은 작가 샤오단과 함께 공부합시다!
크롤링을 차단하고 싶다는 것을 알게 되면 대부분의 SEO는 robots.txt 파일을 떠올립니다. 왜냐하면 우리의 인지에서는 로봇 파일이 Dujie 검색 엔진의 특정 페이지를 효과적으로 크롤링할 수 있기 때문입니다. 하지만 이 방법이 매우 좋긴 하지만, 샤오단은 완성되지 않은 웹사이트에 더 적합하다고 생각하며, 향후 접속 중단이나 조사 기간을 피하기 위함입니다.
검색 엔진이 크롤링하는 것을 막고 싶다면, 공간을 부담 없이 약간의 코드를 사용하면 됩니다. 예를 들어, 백두 거미가 기어다니는 것을 막고 싶습니다
그거에요. 물론, 이건 바이두 크롤링을 차단하는 방법일 뿐입니다. 검색 엔진을 원한다면 Baiduspider를 검색 엔진을 바꾸는 거미로 바꾸면 됩니다.
일반적인 검색 엔진 이름은 다음과 같습니다:
1. 바이두스파이더 바이두의 종합 인덱스 거미
2. 구글봇 구글 스파이더
3. 구글봇-이미지는 이미지를 잡기 위해 특별히 사용되는 거미입니다
4. Mediapartners-Google Ad 제휴 코드 스파이더
5. 야후 슬러프 야후 스파이더
6, 야호! 슬럽 차이나 야후 차이나 스파이더
7. 야후!-애드크롤러 야후 광고 스파이더
8. 요다오봇 넷이즈 거미
9. 소소스파이 텐센트 SOSO 통합 거미
10. 소고거미 소고우 종합 거미
11. MSNBot 라이브 통합 스파이더
하지만 모든 검색 엔진을 차단하고 싶다면 로봇 파일을 사용하세요:
이 시점에서 많은 친구들은 코드 내에서 웹 스냅샷 생성을 금지하는 명령어가 noarchive임을 이해해야 합니다. 따라서 검색 엔진에 제한이 있다면, 금지된 스냅샷 객체에 따라 코드를 웹페이지에 직접 추가할 수 있습니다; 오히려 코드 하나도 추가하지 않고도 주요 검색 엔진이 정상적으로 웹사이트에 접근해 스냅샷을 생성할 수 있도록 할 수 있습니다.
(재인쇄 출처를 www.wangzhan.net.cn/news/n1913.htm 에서 명시해 주세요, 감사합니다!) 다른 사람의 노력의 결실을 소중히 여기는 것은 자신을 존중하는 것입니다! ） |
게시됨 2016. 1. 13. 오전 10:16:38
|
|
|
