0x00
Žiniatinklio naršyklė (taip pat žinoma kaip žiniatinklio voras, žiniatinklio robotas, FOAF bendruomenėje dažniau vadinamas žiniatinklio persekiotoju) yra programa arba scenarijus, kuris automatiškai nuskaito informaciją apie žiniatinklį pagal tam tikras taisykles. Kiti rečiau naudojami pavadinimai yra skruzdėlės, automatiniai indeksai, simuliatoriai ar kirminai.
0x01
Paprasčiau tariant, naršyklės paima duomenis pagal savo taisykles, analizuoja užfiksuotus duomenis ir gauna sau naudingų duomenų.
0x02
Žiniatinklio naršyklės optimizavimą galima suskirstyti į du etapus:
1: Optimizuokite nuskaitydami duomenis;
2: Optimizuoti sugavimo rezultatų apdorojimą;
Šiandien mes tik kalbame apie optimizavimą grandymo procese!
0x03
Aš apibendrinau keletą punktų apie optimizavimą nuskaitymo procese:
1: Jį galima optimizuoti pagal fizinį adresą, pavyzdžiui: tikslinis išteklių serveris yra "Tencent Cloud" pagrindinis kompiuteris Šanchajuje, mes bandome pasirinkti serverį tame pačiame regione, tai yra serverį Šanchajaus regione, nesirinkite serverio Pekine, Čingdao ir kituose regionuose, bet taip pat pabandykite pasirinkti serverį tame pačiame IDC kompiuterių kambaryje, žinome, kad ši išteklių svetainė yra "Tencent Cloud" serveris, mes bandome įdėti naršyklę į "Tencent Cloud" serverį, o ne į "Alibaba Cloud" serverį!
2: Pasirinkite stabilų ir greitą tinklą, paprastai naršyklės kelia aukštus tinklo kokybės reikalavimus, stenkitės nenaudoti namų tinklo, rinkitės įmonės tinklą arba nusipirkite serverį duomenims fiksuoti.
3: Pasirinkite efektyvesnę skaitytuvo kalbą, girdėjau, kad python yra geresnis naršyklėse, bet aš jo nenaudojau, ir aš jį išbandysiu vėliau, šiandien, daugiausia paaiškinsiu .net kalba.
0x04
Tokiems dalykams kaip skubus pirkimas, greičio griebimo reikalavimai yra aukšti, tai galima apibūdinti kaip laiko klausimą, anksti gauti duomenis, padidinti tikimybę patraukti, toliau yra aš parašiau demonstracinę versiją su konsole, šios svetainės duomenų griebimo testą, kaip parodyta paveikslėlyje žemiau:
(Kuo trumpesnis laikas, tuo greičiau)
Aukščiau pateiktas duomenų reitingas:1: Natūraliai optimizuotas kodas, 2: Vietinis kodas, 3: Trečiosios šalies įskiepiai DLL (paketai)
0x05
Kodėl trečiųjų šalių įskiepiai (paketai) užtrunka ilgiausiai? Trečiųjų šalių papildiniai iš tikrųjų yra daugybė vietinio kodo inkapsulių, daugybė loginių sprendimų ir gana universalūs, o tai gali lemti lėtą nuskaitymo greitį.
Štai vietinis kodas:
Vietinis kodas yra vos kelios eilutės aukščiau.Vidutinis laikas vis dar yra 184 milisekundės,Kuo paprastesnis kodas, tuo sunkiau jį optimizuotiAr manote, kad kaip galima optimizuoti aukščiau pateiktą kodą, kad vidutinis laikas būtų 99 milisekundės?Greičio skirtumas padvigubėja!
0x06
Jei tikslinis išteklių serveris palaiko gzip glaudinimą, kai pasiekiame svetainę ir naršyklė prašo svetainės, užklausos antraštė turės šiuos parametrus:
Atsakymo antraštės parametrai:
Įvadas į "Accept-Encoding": https://developer.mozilla.org/en-US/docs/Web/HTTP/Headers/Accept-Encoding
Paprastais žodžiais:
Klientas sako:Aš palaikau "gzip, deflate, sdch, br" glaudinimo algoritmą, galite naudoti ką norite, kai grąžinate duomenis.
Serveris sakė:Aš palaikau gzip glaudinimo algoritmą, todėl naudosiu gzip algoritmą, kad suspausčiau duomenis jums
Klientas sako:Gerai, tada gautus duomenis iššifruosiu gzip algoritmu
gzip algoritmas, kuris gali suspausti perduodamus duomenis ir žymiai sumažinti perduodamą turinį, todėl užklausos efektyvumas bus pagerintas, todėl optimizuotas kodas yra toks:
Nors tai maža detalė, galima sakyti, kad efektyvumas padvigubėjo! Tai prilygsta duomenims, kuriuos surinkote per dvi dienas, o dabar juos galima surinkti per 1 dieną, o šis straipsnis skirtas draugams, kurie mokosi nuskaityti.
Pastaba: gzip glaudinimo algoritmas neturi nieko bendra su programavimo kalba!
Galiausiai pridėkite šaltinio kodą:
Turistai, jei norite pamatyti paslėptą šio įrašo turinį, prašome Atsakyti
|
[Kopijuoti nuorodą]
Paskelbta 2018-04-19 14:21:02
|
|
|
|
Paskelbta 2019-12-31 10:48:25
|
