Quando gestiamo siti web, specialmente ottimizzando il posizionamento, pensiamo sempre a come guidare i search spider a scansionare le pagine web e a includerle. Tuttavia, spesso alcuni siti web non vogliono essere frequentati dai motori di ricerca a causa dei diversi gruppi di utenti e regioni target, come possiamo risolvere questo problema? Oggi studiamola con l'autore Xiao Dan!
Quando vediamo che vogliamo bloccare il crawling, la maggior parte degli SEO pensa ai file robots.txt. Perché nella nostra cognizione, i file robot possono effettivamente scansionare determinate pagine tramite il motore di ricerca Dujie. Ma sai, anche se questo metodo è molto valido, Xiaodan pensa che sia più adatto per il sito non completato, per evitare il link morto o il periodo di indagine in futuro.
Se vogliamo solo bloccare un motore di ricerca che non si striscia, non dobbiamo gravare lo spazio, basta usare un po' di codice. Ad esempio, vogliamo bloccare i ragni Baidu dal strisciare
Questo è tutto. Ovviamente, questo è solo un modo per bloccare il crawling di Baidu; se vuoi qualsiasi motore di ricerca, basta sostituire Baiduspider con uno spider che cambia il motore di ricerca.
I nomi comuni dei motori di ricerca sono i seguenti:
1. BaiduSpider Ragno indice completo di Baidu
2. Googlebot Google Spider
3. Googlebot-Image è un ragno usato appositamente per raccogliere immagini
4. Spider del codice affiliato Mediapartners-Google Ad
5. Yahoo Slurp Yahoo Spider
6、Yahoo! Slup China Yahoo China Spider
7. Yahoo!-AdCrawler Yahoo Ragno Annuncio
8. Ragno YodaoBot NetEase
9. Sosospider Tencent ragno integrato SOSO
10. Ragno Sogou Ragno completo Sogou
11. Ragno integrato MSNBot Live
Tuttavia, se vuoi bloccare tutti i motori di ricerca, usa un file robot:
A questo punto, molti amici dovrebbero capire che il comando che vieta la creazione di snapshot web nel codice è noarchive. Pertanto, se abbiamo restrizioni sui motori di ricerca, possiamo aggiungere il codice direttamente alla pagina web secondo i nostri oggetti snapshot proibiti; Al contrario, senza aggiungere un solo pezzo di codice, puoi assicurarti che i principali motori di ricerca possano accedere normalmente al sito web e creare snapshot.
(Per favore indichi la ristampa da: www.wangzhan.net.cn/news/n1913.htm, grazie!) Apprezzare i frutti del lavoro altrui significa rispettare se stessi! ） |
Pubblicato su 13/01/2016 10:16:38
|
|
|
