|
|
Közzétéve 2014. 12. 25. 16:18:52
|
|
|
|
Háttér és szükségletek
A China Railway Ügyfélszolgálati Központ honlapja (www.1230**) a világ egyik legnagyobb valós idejű kereskedési rendszere, amely összehasonlítható a Amazon.com-vel, és a weboldal nagy nyomás alatt van az ünnepek alatt, különösen a tavaszi fesztivál idején. Statisztikák szerint a 2012 elején, a tavaszi fesztivál csúcspontján naponta 20 millió ember látogatta meg az oldalt, maximum napi 1,4 milliárd megtekintéssel. A 12306-os egyidejű hálózati hozzáférések nagy száma szinte megbénulttá vált. A Kínai Vasúttudományi Akadémia Elektronikus Számítástechnikai Intézete, mint a 12306-os internetes jegyrendszer vállalkozója, sürgősen meg kell találnia a megoldást a probléma megoldására.
Sikeres megoldás: több mint 75-szer gyorsabb
2012 márciusa óta a Vasúti Társaság (korábban Vasúti Minisztérium) megkezdte a 12306-os vonal vizsgálatát és felújítását. 2012 júniusában a Pivotal GemFire elosztott memórián belüli számítástechnikai platformot (Distributed In-memory computing) választották ki a 12306 átalakítására, amelyet Wang Mingzhe, az Iron Sciences Akadémia projektcsapatának vezetője, valamint az IISI Information Technology Co., Ltd. biztosított Zhu Jiansheng, a Vasúti Tudományok Akadémiájának igazgatója vezetésével.Az első fázis először a 12306-os fő szűk keresztmetszetet – a megmaradt jegylekérdező rendszert – átalakítja。 Szeptemberben befejeződött a kódátalakítás, és elindították a rendszert. 2012-ben, a Nemzeti Napon, az online foglalás csúcsidőszakában, jelentősen bejelentkezhetsz a 12306-ra, bár még mindig nehéz jegyeket foglalni, a megmaradt jegyek nagyon gyorsak. 2012 októberében,A második fázis a rendelési lekérdezési rendszer átalakítása a GemFire-rel (az ügyfelek saját rendelési nyilvántartásaikat kérdezik)。 A 2013-as tavaszi fesztivál idején az online foglalás csúcsidőszaka, és jelentősen előfordulhat, hogy be lehet jelentkezni a 12306-ra, bár még mindig nehéz jegyet foglalni, a megmaradt jegyek lekérdezése nagyon gyors, és a saját foglalás és rendelés lekérdezése is nagyon gyors.
A rendszer működési adat adatai szerint, a technikai átalakítás után,Csak 10 X86 szerver használatával tucatnyi kis számítógép megmaradt jegyszámítási és lekérdezési képességei valósult meg, és egyetlen lekérdezés maximális ideje körülbelül 15 másodpercről kevesebb mint 0,2 másodpercre csökkent, ami több mint 75-szer rövidebb lett。 A 2012-es tavaszi fesztivál rendkívül nagy forgalmi egyidejű szakasza esetén a rendszer szinte megbénult. Az átalakulás után,Másodpercenként több tízezer párhuzamos lekérdezést támogat, csúcsidőszakokban 26 000 lekérdezést ér el, az egész rendszer hatékonysága jelentősen javult. Ahogy a fenti képen is látható.
A rendszer működési módjában az átalakítás előtt a sorrendi lekérdezési rendszer csak 300-400 lekérdezés sebességét képes támogatni, míg a nagy forgalmú egyidejű lekérdezések csak adatbázis-felosztással valósíthatók meg. Az átalakítás után az áteresztő sebesség akár tízezrek lekérdezése is elérheti másodpercenként, és a lekérdezési sebesség garantáltan körülbelül 20 milliszekundum lesz.
Az új technológiai architektúra a következőképpen képesDinamikus skálázás a keresleti rugalmasság függvényébenHa az egyidegus mennyisége nő, dinamikusan növelheted az X86 szervert is, hogy milliszekundumusos válaszidőt tartsunk fenn.
Álomban keresve: a technológiai forradalom három generációt ölel egy lépésben
A 12306 képes ilyen földrengető hatásokat elérni, hogy lehetetlen apró technikai javításokra támaszkodni, és új ötletnek kell lennie, amely előnyt nyújthat a teljesítmény javítására. A 12306 felfedezte, hogy a GemFire elosztott, memórián belüli adatplatform egy ilyen technológia.
A GemFire elosztott, memórián belüli adatplatform technikai indoklásaAhogy a fenti ábrán látható: A felhőalapú számítástechnikai platform virtualizációs technológiájának köszönhetően több X86 szerver memóriája központosítva akár több tucat terabájtos memóriaforrás készletet alkot, és minden adatot betöltenek a memóriába a memórián belüli számításhoz. A számítási folyamat maga nem szükséges olvasni és írni a lemezre, hanem csak időszakosan ír adatokat a lemezre szinkron vagy aszinkron. A GemFire több adatmásolatot tárol egy elosztott klaszterben, és ha bármelyik gép meghibásodik, más gépeken is vannak biztonsági mentések, így általában nincs ok aggódni az adatvesztés miatt, és a lemezadatok mentésként is rendelkezésre állnak. A GemFire támogatja a memóriabeli adatok tartós elhelyezését különféle hagyományos relációs adatbázisokban, Hadoop könyvtárakban és más fájlrendszerekben.
Ahogy mindannyian tudjuk, a jelenlegi számítástechnikai architektúra szűk keresztmetszete a tárolás, a processzor sebessége megduplázódik a Moore-törvény szerint, és a lemeztárolás sebessége nagyon lassan nő, ami hatalmas, akár 100 000-szeres rést eredményez (ahogy a fenti ábrán látható). Ez megkönnyíti annak megértését, miért javíthat jelentősen a GemFire a rendszer teljesítményét.
A számítástechnika és a tárolás kapcsolata szerint a számítási architektúrát négy generációra oszthatjuk:
Az első generáció, egy egy-egy lemezalapú rendszer: Adatokat kell olvasni a korongról számítások során. A kis számítógépek és nagyszámítógépek az elsők között állnak, egyetlen rendszer maximális teljesítményét érve el.
A második generáció egy elosztott klaszterezési rendszer, amely lemezeken alapul: A számítási folyamat során az adatokat lemezről kell olvasni, de az adatokat különböző szerverlemezeken keresztül osztják szét egy elosztó rendszeren keresztül, hogy növeljék a teljes rendszer feldolgozási kapacitását. Jelenleg sok nagy internetes és e-kereskedelmi vállalat X86 szervereken alapuló elosztott klaszterezési rendszereket használ, amelyek hatalmas X86 szervertelepítésre támaszkodnak a nagy forgalomú egyidejű probléma megoldására.
A harmadik generáció, egyetlen memóriaalapú rendszer: Az egész adatbázist memóriába helyezi, és a számítási folyamat nem igényel adatolvasást a lemezről. Az egész rendszer teljesítménye egyetlen rendszer teljesítményétől függ. A hagyományos memóriabeli adatbázisok ilyen rendszerek, amelyek jól megoldhatják a hozzáférési sebesség problémáját vállalati szintű alkalmazások esetében, de nem tudnak semmit tenni a hatalmas adatok vagy a hatalmas egyidejű hozzáférés skálázhatósági problémáján.
A negyedik generáció egy memóriaalapú elosztott klaszterezési rendszer: A GemFire egy ilyen rendszer, a párhuzamos számítástechnika az egyik kulcsfontosságú technológiája, így a teljesítményt lineárisan képes skálázni a memeretikus számítás alapján, növelve a szervertelepítés méretét.
A 12306 korábban átvette a Unix miniszámítógép architektúrát, és a GemFire technológiát használta annak átalakítására Linux/X86 szerverklaszter architektúrává, ami azt jelenti, hogy három generációt ölel fel. A kis számítógépektől a nagy memóriás X86 szerverklaszterekig nemcsak nagyságrenddel javítják a teljesítményt, hanem jóval alacsonyabb költséggel is.
A GemFire a Pivotal vállalati szintű nagy adat PaaS platformjának része. A Pivotal vállalati szintű big data PaaS platformja három fő szinttel rendelkezik: Cloud Fabric, Big Data Infrastructure Layer és Application Fabric. A GemFire a nagy adat infrastruktúra rétegéhez tartozik, ezen kívül a Greenplum adatbázis is ebbe a rétegbe; A felhőinfrastruktúra rétegének technológiája a Cloud Foundry; Az alkalmazásfejlesztési infrastruktúra rétegének technológiái többek között a Spring Framework és a RabbitMQ.
A GemFire technológia bevezetésének átalakulásával kapcsolatban Zhu Jiansheng, a Kínai Vasúttudományi Akadémia Elektronikus Számítástechnikai Technológiai Intézetének helyettes igazgatója így nyilatkozott: "A technológiai átalakulással megoldottuk a hosszú ideje gyötörő csúcsforgalom egyidejű problémáját, így az egész ország népe már nem panaszkod technikai okokból, és végre megkönnyebbültünk." A kulcsfontosságú GemFire elosztott klaszter, memórián belüli adattechnológia kulcsszerepet játszott az egész technológiai átalakulásban. Ugyanekkor, a Pivotal és projektcsapata erőfeszítéseinek köszönhetően a régi rendszer zökkenőmentes működését és a technikai fejlesztés és átalakítás során a régi rendszerről az új rendszerre való átmenetet biztosították, az új rendszer gyorsan elindult. ”
|
Előző:12306 Számos felhasználói jelszó szivárogt, és a 12306-os adatbázis letöltési cím is kiszivárgottKövetkező:Nagy mennyiségű 12306 felhasználói adat terjedt el az interneten, beleértve a felhasználói fiók számokat, tiszta szöveges jelszavakat, személyi kártyákat, e-maileket stb
|
Közzétéve 2014. 12. 25. 19:57:14
|
