|
|
Objavljeno na 25. 12. 2014 16:18:52
|
|
|
|
Ozadje in potrebe
Spletna stran Centra za podporo strankam Kitajske železnice (www.1230**) je eden največjih svetovnih sistemov trgovanja v realnem času, primerljiv z Amazon.com, spletna stran pa je med prazniki, zlasti med pomladnim festivalom, pod velikim pritiskom. Po statističnih podatkih je med vrhuncem pomladnega festivala v začetku leta 2012 spletno stran vsak dan obiskalo 20 milijonov ljudi, z največ 1,4 milijarde dnevnih ogledov. Veliko sočasnih dostopov do omrežja je povzročilo, da je bila 12306 skoraj paralizirana. Inštitut za elektronsko računalniško tehnologijo Kitajske akademije železniških znanosti, kot izvajalec internetnega sistema za vozovnice 12306, nujno potrebuje rešitev problema.
Uspešna rešitev: več kot 75-krat hitreje
Od marca 2012 je železniška korporacija (prej Ministrstvo za železnice) začela preiskovati in prenavljati lokomotivo 12306. Junija 2012 je bila za transformacijo 12306 izbrana platforma Pivotal GemFire za distribuirano računalništvo v pomnilniku (Distributed In-memory computing), ki sta jo zagotovila Wang Mingzhe, vodja projektne ekipe Akademije železnih znanosti, in IISI Information Technology Co., Ltd. pod vodstvom Zhu Jianshenga, direktorja Akademije železniških znanosti.Prva faza bo najprej preoblikovala glavno ozko grlo 12306 – preostali sistem poizvedb za vstopnice。 Septembra je bila pretvorba kode zaključena in sistem je bil lansiran. Na državni praznik leta 2012, v času največje spletne rezervacije, se lahko prijavite na 12306, čeprav je še vedno težko rezervirati vstopnice, preostale vstopnice pa so zelo hitre. Oktobra 2012,Druga faza je preoblikovanje sistema povpraševanja po naročilih z GemFire (stranke poizvedujejo po lastnih zapisih o naročilih)。 Med pomladnim festivalom leta 2013 je to vrhunec spletne rezervacije, kjer se lahko prijavite na 12306, čeprav je še vedno težko rezervirati vstopnice, vendar je poizvedba o preostalih vstopnicah zelo hitra, prav tako pa tudi poizvedba o lastni rezervaciji in naročilu.
Po podatkih o obratovanju sistema, po tehnični preobrazbi,Z uporabo le 10 X86 strežnikov so bile dosežene preostale zmogljivosti izračuna in poizvedb na več deset majhnih računalnikih, največji čas ene poizvedbe pa je bil skrajšan s približno 15 sekund na manj kot 0,2 sekunde, kar je bilo skrajšano za več kot 75-krat。 V primeru izjemno velike prometne sočasnosti med pomladnim festivalom leta 2012 je bil sistem skoraj paraliziran. Po preobrazbi,Podpira desetine tisoč sočasnih poizvedb na sekundo, pri čemer doseže prepustnost 26.000 poizvedb na sekundo v obdobjih največje konice, se učinkovitost celotnega sistema bistveno izboljša. Kot je prikazano na zgornji sliki.
V načinu delovanja sistema pred transformacijo lahko sistem poizvedb o vrstnem redu podpira le 300-400 poizvedb na sekundo, medtem ko je visokoprometne sočasne poizvedbe mogoče realizirati le z razdelitvijo baze podatkov. Po transformaciji je prepustnost lahko do deset tisoč poizvedb na sekundo, hitrost poizvedb pa je zagotovljena približno 20 milisekund.
Nova tehnološka arhitektura lahko:Dinamična elastičnost skaliranja na zahtevoKo se število sočasnosti poveča, lahko tudi dinamično povečate X86 strežnik, da ohranite odzivni čas na ravni milisekund.
Iskanje v sanjah: tehnološka revolucija traja tri generacije v enem koraku
12306 lahko doseže tako pretresljive učinke, da se ni mogoče zanašati na manjša tehnična popravila, zato mora obstajati nova ideja, ki lahko pripomore k izboljšanju zmogljivosti. 12306 je odkril, da je GemFire distribuirana platforma za podatke v pomnilniku ena izmed takih tehnologij.
Tehnična utemeljitev GemFire distribuirane podatkovne platforme v pomnilnikuKot je prikazano na zgornji sliki: S pomočjo virtualizacijske tehnologije računalniške platforme v oblaku je pomnilnik več X86 strežnikov centraliziran v bazen pomnilniških virov do več deset terabajtov, vsi podatki pa se naložijo v pomnilnik za izračune v pomnilniku. Sam računalniški proces ne potrebuje branja in pisanja na disk, temveč le občasno zapisuje podatke na disk sinhrono ali asinhrono. GemFire shranjuje več kopij podatkov v porazdeljenem grozdu, in če kateri koli računalnik odpove, so varnostne kopije na drugih napravah, zato običajno ni razloga za skrb zaradi izgube podatkov, poleg tega pa so na voljo diskovni podatki kot varnostna kopija. GemFire podpira shranjevanje podatkov v pomnilniku v različne tradicionalne relacijske baze podatkov, Hadoop knjižnice in druge datototečne sisteme.
Kot vsi vemo, je ozko grlo trenutne računalniške arhitekture shranjevanje, hitrost procesorja se podvoji po Mooreovem zakonu, hitrost shranjevanja na disku pa raste zelo počasi, kar povzroči ogromno vrzel do 100.000-krat (kot je prikazano na zgornji sliki). To olajša razumevanje, zakaj lahko GemFire močno izboljša delovanje sistema.
Glede na razmerje med računalništvom in shranjevanjem lahko računalniško arhitekturo razdelimo na štiri generacije:
Prva generacija, sistem na osnovi enega diska: Med izračuni je treba podatke prebrati z diska. Med vodilnimi so majhni računalniki in glavni računalniki, ki dosegajo najvišjo zmogljivost enega sistema.
Druga generacija, distribuiran sistem gručenja, ki temelji na diskih: Med postopkom izračuna je treba podatke prebrati z diska, vendar se podatki razporedijo med različne strežniške diske preko distribucijskega sistema, da se izboljša procesorska moč celotnega sistema. Trenutno številna velika internetna in e-trgovinska podjetja uporabljajo porazdeljene sisteme gručenja, ki temeljijo na X86 strežnikih, pri čemer se zanašajo na obsežno namestitev X86 strežnikov za reševanje problema velike sočasnosti prometa.
Tretja generacija, sistem na osnovi enega pomnilnika: Celotno bazo podatkov shrani v pomnilnik, postopek izračuna pa ne zahteva branja podatkov z diska. Delovanje celotnega sistema je odvisno od zmogljivosti enega sistema. Tradicionalne podatkovne baze v pomnilniku so takšni sistemi, ki lahko dobro rešijo problem hitrosti dostopa za aplikacije na ravni podjetja, vendar ne morejo ničesar storiti glede problema razširljivosti velikih podatkov ali velikega sočasnega dostopa.
Četrta generacija je sistem razpršenega gručenja na osnovi pomnilnika: GemFire je tak sistem, paralelno računalništvo je ena njegovih ključnih tehnologij, zato lahko linearno skalira zmogljivost na podlagi računalništva v pomnilniku z večjim obsegom uvajanja strežnikov.
12306 je prej sprejel Unix miniračunalniško arhitekturo in uporabil tehnologijo GemFire, da jo je preoblikoval v arhitekturo strežniškega grozda Linux/X86, kar pomeni, da zajema tri generacije. Od majhnih računalnikov do X86 strežniških grozdov z velikim pomnilnikom ne le izboljša zmogljivost za redove velikosti, ampak tudi stane bistveno nižje.
GemFire je del Pivotalove platforme za PaaS za velike podatke na ravni podjetij. Pivotalova platforma za velike podatke na ravni velikih podatkov ima tri glavne ravni: Cloud Fabric, Big Data Infrastructure Layer in Application Fabric. GemFire spada v plast infrastrukture velikih podatkov, poleg tega pa tudi baza podatkov Greenplum spada v to plast; Tehnologija plasti oblačne infrastrukture je Cloud Foundry; Tehnologije za infrastrukturo razvoja aplikacij so med drugim Spring Framework in RabbitMQ.
Glede preobrazbe uvedbe tehnologije GemFire je Zhu Jiansheng, namestnik direktorja Inštituta za elektronsko računalniško tehnologijo Kitajske akademije železniških znanosti, dejal: "S tehnološko preobrazbo smo rešili problem vrhunske sočasnosti z velikim prometom, ki nas že dolgo pesti, tako da se ljudje po vsej državi ne pritožujejo več zaradi tehničnih razlogov in smo končno olajšani." Ključna tehnologija GemFire porazdeljenih grozdov v pomnilniku je odigrala ključno vlogo pri celotni tehnološki preobrazbi. Hkrati pa je bil zahvaljujoč prizadevanjem Pivotala in njegove projektne ekipe, ki so zagotovili nemoteno delovanje starega sistema in nemoteno prehod iz starega sistema v novega med tehničnim razvojem in transformacijo, novi sistem hitro lansiran. ”
|
Prejšnji:12306 Veliko število uporabniških gesel je bilo razkritih, naslov za prenos baze podatkov 12306 pa je bil razkritNaslednji:Velika količina podatkov o uporabnikih 12306 je postala viralna na internetu, vključno s številkami uporabniških računov, gesli v navadnem besedilu, osebnimi izkaznicami, e-pošto itd
|
Objavljeno na 25. 12. 2014 19:57:14
|
