|
|
Paskelbta 2014-12-25 16:18:52
|
|
|
|
Pagrindiniai faktai ir poreikiai
Kinijos geležinkelių klientų aptarnavimo centro svetainė (www.1230**) yra viena didžiausių pasaulyje realaus laiko prekybos sistemų, panaši į Amazon.com, ir svetainė patiria didelį spaudimą per šventes, ypač per Pavasario šventę. Remiantis statistika, per Pavasario festivalio piką 2012 m. pradžioje svetainėje kasdien apsilankė 20 milijonų žmonių, daugiausiai 1,4 milijardo kasdienių apsilankymų. Dėl didelio vienu metu veikiančių tinklo prieigų skaičiaus 12306 buvo beveik paralyžiuotas. Kinijos geležinkelių mokslų akademijos Elektroninės skaičiavimo technologijos institutas, kaip 12306 interneto bilietų sistemos rangovas, turi skubiai rasti būdą, kaip išspręsti problemą.
Sėkminga raiška: daugiau nei 75 kartus greitesnė
Nuo 2012 m. kovo mėnesio Geležinkelių korporacija (buvusi Geležinkelių ministerija) pradėjo tirti ir atnaujinti 12306. 2012 m. birželį 12306 transformavimui buvo pasirinkta "Pivotal GemFire" paskirstyta atminties skaičiavimo platforma (Distributed In-memory computing), kurią pateikė Geležies mokslų akademijos projekto komandos vadovas Wang Mingzhe ir IISI Information Technology Co., Ltd., vadovaujama Geležinkelių mokslų akademijos direktoriaus Zhu Jiansheng.Pirmasis etapas pirmiausia pakeis pagrindinę 12306 kliūtį - likusią bilietų užklausų sistemą。 Rugsėjį kodo transformacija buvo baigta ir sistema buvo paleista. 2012 m. Nacionalinę dieną, piko metu užsakymas internetu, galite žymiai pastebėti, kad galite prisijungti prie 12306, nors vis dar sunku užsisakyti bilietus, tačiau likę bilietai yra labai greiti. 2012 m. spalio mėn.Antrasis etapas – užsakymų užklausų sistemos pertvarkymas naudojant "GemFire" (klientai užklausia savo užsakymų įrašus)。 2013 m. Pavasario festivalio metu tai yra didžiausias užsakymo internetu laikotarpis, ir jūs galite pastebėti, kad galite prisijungti prie 12306, nors vis dar sunku užsisakyti bilietus, tačiau likusių bilietų užklausa yra labai greita, o jūsų pačių užsakymo ir užsakymo užklausa taip pat labai greita.
Pagal sistemos veikimo duomenų įrašą, po techninės pertvarkosNaudojant tik 10 X86 serverių, buvo realizuotos likusios dešimčių mažų kompiuterių bilietų skaičiavimo ir užklausų galimybės, o maksimalus vienos užklausos laikas sutrumpėjo nuo maždaug 15 sekundžių iki mažiau nei 0,2 sekundės, o tai sutrumpėjo daugiau nei 75 kartus。 2012 m. pavasario festivalio metu itin didelio srauto atveju sistema buvo beveik paralyžiuota. Po pertvarkosJis palaiko dešimtis tūkstančių vienu metu atliekamų užklausų per sekundę, o piko metu pasiekia 26 000 užklausų per sekundę pralaidumą, žymiai pagerėja visos sistemos efektyvumas. Kaip parodyta aukščiau esančiame paveikslėlyje.
Sistemos veikimo režimu prieš transformaciją užsakymų užklausų sistema gali palaikyti tik 300–400 užklausų per sekundę pralaidumą, o didelio srauto lygiagrečios užklausos gali būti realizuotos tik padalijant duomenų bazę. Po transformacijos pralaidumas gali siekti iki dešimčių tūkstančių užklausų per sekundę, o užklausos greitis gali būti apie 20 milisekundžių.
Naujoji technologijų architektūra gali:Dinaminis mastelio keitimas pagal paklausos elastingumąKai sutapimo suma didėja, taip pat galite dinamiškai padidinti X86 serverį, kad išlaikytumėte milisekundės lygio atsakymo laiką.
Ieškau sapne: technologinė revoliucija vienu žingsniu apima tris kartas
12306 gali pasiekti tokį žemę drebinantį poveikį, neįmanoma pasikliauti nedideliais techniniais remonto darbais, ir turi būti nauja idėja, kuri gali suteikti sverto našumo gerinimui. 12306 atrado, kad "GemFire" paskirstyta atminties duomenų platforma yra viena iš tokių technologijų.
"GemFire" paskirstytos atminties duomenų platformos techninis pagrindimasKaip parodyta aukščiau esančiame paveikslėlyje: Naudojant debesų kompiuterijos platformos virtualizacijos technologiją, kelių X86 serverių atmintis yra centralizuota, kad būtų sudarytas iki dešimčių terabaitų atminties išteklių telkinys, o visi duomenys įkeliami į atmintį, kad būtų galima apskaičiuoti atmintyje. Pačiam skaičiavimo procesui nereikia skaityti ir rašyti į diską, o tik periodiškai rašo duomenis į diską sinchroniškai arba asinchroniškai. "GemFire" saugo kelias duomenų kopijas paskirstytame klasteryje, o jei kuris nors įrenginys sugenda, yra atsarginės kopijos kituose įrenginiuose, todėl paprastai nereikia jaudintis dėl duomenų praradimo, o disko duomenys yra atsarginė kopija. "GemFire" palaiko nuolatinius atminties duomenis įvairiose tradicinėse reliacinėse duomenų bazėse, "Hadoop" bibliotekose ir kitose failų sistemose.
Kaip visi žinome, dabartinės skaičiavimo architektūros kliūtis yra saugykla, procesoriaus greitis padvigubėja pagal Moore'o dėsnį, o disko saugojimo greitis auga labai lėtai, todėl susidaro didžiulis atotrūkis iki 100 000 kartų (kaip parodyta aukščiau esančiame paveikslėlyje). Tai leidžia lengvai suprasti, kodėl "GemFire" gali labai pagerinti sistemos našumą.
Pagal skaičiavimo ir saugojimo santykį skaičiavimo architektūrą galime suskirstyti į keturias kartas:
Pirmoji karta, vieno disko sistema: Skaičiavimų metu duomenis reikia nuskaityti iš disko. Maži kompiuteriai ir pagrindiniai kompiuteriai yra vieni iš lyderių, pasiekiančių didžiausią vienos sistemos našumą.
Antroji karta, paskirstyta klasterizavimo sistema, pagrįsta diskais: Skaičiavimo proceso metu duomenis reikia nuskaityti iš disko, tačiau duomenys paskirstomi skirtinguose serverio diskuose per paskirstymo sistemą, kad būtų pagerinta visos sistemos apdorojimo galia. Šiuo metu daugelis didelių interneto ir elektroninės prekybos įmonių naudoja paskirstytas klasterizavimo sistemas, pagrįstas X86 serveriais, pasikliaudamos masiniu X86 serverių diegimu, kad išspręstų didelio srauto lygiagrečiumo problemą.
Trečioji karta, viena atmintimi pagrįsta sistema: Į atmintį įdeda visą duomenų bazę, o skaičiavimo procesui nereikia nuskaityti duomenų iš disko. Visos sistemos veikimas priklauso nuo vienos sistemos veikimo. Tradicinės atminties duomenų bazės yra tokios sistemos, kurios gali gerai išspręsti įmonės lygio programų prieigos greičio problemą, tačiau nieko negali padaryti dėl didžiulių duomenų ar masinės lygiagrečios prieigos mastelio problemos.
Ketvirtoji karta yra atmintimi pagrįsta paskirstyta klasterizavimo sistema: "GemFire" yra tokia sistema, lygiagretus skaičiavimas yra viena iš pagrindinių jos technologijų, todėl ji gali linijiškai išplėsti našumą pagal atminties skaičiavimą, padidindama serverio diegimo mastą.
12306 anksčiau priėmė Unix mini kompiuterių architektūrą ir naudojo GemFire technologiją, kad paverstų ją Linux/X86 serverių klasterio architektūra, o tai reiškia, kad ji apima tris kartas. Nuo mažų kompiuterių iki didelės atminties X86 serverių klasterių ne tik pagerina našumą, bet ir kainuoja daug mažiau.
"GemFire" yra "Pivotal" įmonės lygio didžiųjų duomenų PaaS platformos dalis. "Pivotal" įmonės lygio didžiųjų duomenų PaaS platforma turi tris pagrindinius lygius: "Cloud Fabric", "Big Data Infrastructure Layer" ir "Application Fabric". "GemFire" priklauso didžiųjų duomenų infrastruktūros sluoksniui, be to, šiam sluoksniui priklauso ir "Greenplum" duomenų bazė; Debesų infrastruktūros sluoksnio technologija yra "Cloud Foundry"; Taikomųjų programų kūrimo infrastruktūros sluoksnio technologijos, be kita ko, yra "Spring Framework" ir "RabbitMQ".
Kalbėdamas apie "GemFire" technologijos diegimo transformaciją, Kinijos geležinkelių mokslų akademijos Elektroninės skaičiavimo technologijos instituto direktoriaus pavaduotojas Zhu Jiansheng sakė: "Per technologinę transformaciją mes išsprendėme mus ilgą laiką kamavusią piko didelio eismo problemą, kad visos šalies žmonės nebeskundžiasi dėl techninių priežasčių, o mes pagaliau palengvėjome". Pagrindinė "GemFire" paskirstyto klasterio atminties duomenų technologija suvaidino pagrindinį vaidmenį visoje technologijų transformacijoje. Tuo pačiu metu, dėka "Pivotal" ir jos projekto komandos pastangų užtikrinti sklandų senosios sistemos veikimą ir sklandų perėjimą iš senosios sistemos į naują techninio kūrimo ir transformacijos proceso metu, naujoji sistema buvo greitai paleista. ”
|
Ankstesnis:12306 Nutekėjo daug vartotojų slaptažodžių ir nutekėjo 12306 duomenų bazės atsisiuntimo adresasKitą:Internete išplito didelis kiekis 12306 vartotojų duomenų, įskaitant vartotojų paskyrų numerius, paprasto teksto slaptažodžius, asmens tapatybės korteles, el. laiškus ir kt
|
Paskelbta 2014-12-25 19:57:14
|
