Denne artikel er en spejling af maskinoversættelse, klik venligst her for at springe til den oprindelige artikel.

Udsigt: 11657|Svar: 0

[Viden om hjemmesideopbygning] Hvordan blokerer man søgemaskiner fra at crawle hjemmesider?

[Kopier link]
Opslået på 13/01/2016 10.16.38 | | |

Når vi driver hjemmesider, især optimering af hjemmesiderangering, tænker vi altid på, hvordan vi kan guide søgemaskinespiders til at crawle websider og inkludere dem. Men mange gange ønsker nogle hjemmesider ikke at blive patroniseret af søgemaskiner på grund af de forskellige brugergrupper og målregioner – hvordan løser vi dette problem? Lad os studere det med forfatteren Xiao Dan i dag!   

Når vi ser, at vi vil blokere crawling, tænker de fleste SEO'er på robots.txt filer. For i vores kognition kan robotfiler effektivt gennemsøge bestemte sider via Dujies søgemaskine. Men du ved, selvom denne metode er meget god, mener Xiaodan, at den er mere egnet til en hjemmeside, der ikke bliver færdiggjort, for at undgå dødt link eller undersøgelsesperiode i fremtiden.   

Hvis vi bare vil blokere en søgemaskine fra at crawle, behøver vi ikke fylde pladsen, bare bruge lidt kode. For eksempel vil vi blokere Baidu-edderkopper fra at kravle

Det er det. Selvfølgelig er dette bare en måde at blokere Baidu-crawling på, hvis du vil have en hvilken som helst søgemaskine, så erstat bare Baiduspider med en edderkop, der ændrer søgemaskinen.   

Almindelige søgemaskinespider-navne er som følger:   

1. BaiduSpider Baidus omfattende indeks-edderkop   

2. Googlebot Google Spider   

3. Googlebot-Image er en edderkop, der bruges specielt til at hente billeder      

4. Mediapartners - Google Annonce Affiliate Code Spider   

5. Yahoo Slurp Yahoo Spider   

6、Yahoo! Slup China Yahoo China Spider   

7. Yahoo!-AdCrawler Yahoo Ad Spider   

8. YodaoBot NetEase edderkop   

9. Sosospider Tencent SOSO integreret edderkop   

10. Sogou Edderkop Sogou omfattende edderkop   

11. MSNBot Live integreret edderkop   

Men hvis du vil blokere alle søgemaskiner, så brug en robotfil:

På dette tidspunkt burde mange venner forstå, at kommandoen, der forhindrer oprettelse af websnapshots i koden, er noarchive. Derfor, hvis vi har begrænsninger på søgemaskiner, kan vi tilføje koden direkte til websiden i henhold til vores forbudte snapshot-objekter; Tværtimod, uden at tilføje et eneste stykke kode, kan du sikre, at store søgemaskiner kan få adgang til hjemmesiden normalt og skabe snapshots.     

(Venligst angiv genoptrykket fra: www.wangzhan.net.cn/news/n1913.htm, tak!) At værdsætte frugterne af andres arbejde er at respektere sig selv! )




Tidligere:Linux bruger ofte chmod-kommandoer
Næste:Apple ISO APP til at crawle HTTPS-pakker
Ansvarsfraskrivelse:
Al software, programmeringsmaterialer eller artikler udgivet af Code Farmer Network er kun til lærings- og forskningsformål; Ovenstående indhold må ikke bruges til kommercielle eller ulovlige formål, ellers skal brugerne bære alle konsekvenser. Oplysningerne på dette site kommer fra internettet, og ophavsretstvister har intet med dette site at gøre. Du skal slette ovenstående indhold fuldstændigt fra din computer inden for 24 timer efter download. Hvis du kan lide programmet, så understøt venligst ægte software, køb registrering og få bedre ægte tjenester. Hvis der er nogen overtrædelse, bedes du kontakte os via e-mail.

Mail To:help@itsvse.com