|
|
Zveřejněno 25.12.2014 16:18:52
|
|
|
|
Pozadí a potřeby
Webové stránky Centra zákaznického servisu Čínských železnic (www.1230**) je jedním z největších světových systémů obchodování v reálném čase, srovnatelným s Amazon.com, a webová stránka je během svátků, zejména během Jarního festivalu, pod velkým tlakem. Podle statistik během vrcholu Jarního festivalu na začátku roku 2012 navštívilo web denně 20 milionů lidí, s maximálně 1,4 miliardy návštěv denně. Velké množství současných přístupů k síti způsobilo, že 12306 byla téměř paralyzována. Institut elektronických výpočetních technologií Čínské akademie železničních věd, jako dodavatel internetového systému jízdenek 12306, naléhavě potřebuje najít způsob, jak tento problém vyřešit.
Úspěšné vyřešení: více než 75krát rychlejší
Od března 2012 začala železniční korporace (dříve Ministerstvo železnic) provádět šetření a renovaci lokomotivy 12306. V červnu 2012 byla vybrána platforma Pivotal GemFire pro distribuované výpočty v paměti (Distributed In-memory computing), která měla transformovat 12306, kterou poskytl Wang Mingzhe, vedoucí projektového týmu Akademie železných věd, a IISI Information Technology Co., Ltd. pod vedením Zhu Jianshenga, ředitele Akademie železničních věd.První fáze nejprve promění hlavní úzké hrdlo 12306 – zbývající systém dotazování tiketů。 V září byla transformace kódu dokončena a systém byl spuštěn. Na Národní den v roce 2012, během největšího období online rezervací, se můžete výrazně přihlásit na číslo 12306, i když je stále obtížné si vstupenky rezervovat, ale zbývající vstupenky jsou velmi rychlé. V říjnu 2012,Druhou fází je transformace systému dotazování objednávek pomocí GemFire (zákazníci si sami dotazují záznamy o objednávkách)。 Během jarního festivalu 2013 je to vrcholné období online rezervací a můžete se výrazně přihlásit na 12306, i když je stále obtížné si vstupenky rezervovat, ale dotaz na zbývající vstupenky je velmi rychlý a dotaz na vlastní rezervaci a objednávku je také velmi rychlý.
Podle záznamu o provozu systému, po technické transformaci,Při použití pouze 10 X86 serverů byly splněny zbývající schopnosti výpočtu a dotazování tiketů u desítek malých počítačů a maximální doba jednoho dotazu byla snížena z přibližně 15 sekund na méně než 0,2 sekundy, což bylo zkráceno více než 75krát。 V případě extrémně vysoké dopravní souběžnosti během Jarního festivalu 2012 byl systém téměř paralyzován. Po transformaci,Podporuje desítky tisíc současných dotazů za sekundu a během špičkových období dosahuje propustnosti 26 000 dotazů za sekundu, účinnost celého systému je výrazně zlepšena. Jak je vidět na obrázku výše.
V režimu provozu systému před transformací může systém dotazů na objednávku podporovat propustnost pouze 300–400 dotazů za sekundu a souběžné dotazy s vysokým provozem lze realizovat pouze pomocí rozdělení databáze. Po transformaci může propustnost dosahovat až desítek tisíc dotazů za sekundu a rychlost dotazu může být zaručeně asi 20 milisekund.
Nová technologická architektura může:Dynamická škálování na poptávku – elasticitaKdyž se zvyšuje množství souběžnosti, můžete také dynamicky zvyšovat X86 server, aby se udržela doba odezvy na úrovni milisekund.
Hledám ho ve snu: technologická revoluce se rozprostírá přes tři generace v jednom kroku
12306 může dosáhnout takových otřesů zemí, není možné spoléhat na drobné technické opravy a musí existovat nový nápad, který může přinést páku ke zlepšení výkonu. 12306 zjistil, že distribuovaná platforma GemFire pro data v paměti je jednou z takových technologií.
Technické zdůvodnění platformy GemFire pro distribuovaná data v pamětiJak je znázorněno na obrázku výše: Díky virtualizační technologii cloud computingové platformy je paměť několika X86 serverů centralizovana tak, aby vytvořila paměťový zdrojový fond až o velikosti desítek terabajtů, a všechna data jsou nahrána do paměti pro výpočty v paměti. Samotný výpočetní proces nemusí na disk číst a zapisovat, ale pouze periodicky zapisuje data na disk synchronně nebo asynchronně. GemFire ukládá více kopií dat v distribuovaném clusteru a pokud některý stroj selže, zálohy jsou na jiných strojích, takže obvykle není třeba se obávat ztráty dat a jako záloha jsou k dispozici disková data. GemFire podporuje uchovávání dat v paměti do různých tradičních relačních databází, Hadoop knihoven a dalších souborových systémů.
Jak všichni víme, úzkým hrdlem současné výpočetní architektury je úložiště, rychlost procesoru se podle Mooreova zákona zdvojnásobuje a rychlost diskového úložiště roste velmi pomalu, což vede k obrovské mezeře až 100 000krát (jak je znázorněno na obrázku výše). To usnadňuje pochopit, proč může GemFire výrazně zlepšit výkon systému.
Podle vztahu mezi výpočetní technikou a úložištěm můžeme výpočetní architekturu rozdělit do čtyř generací:
První generace, systém založený na jednom disku: Data je třeba číst z disku během výpočtů. Mezi lídry patří malé počítače a mainframy, které dosahují maximálního výkonu jednoho systému.
Druhá generace, distribuovaný shlukovací systém založený na discích: Během výpočtu je třeba data číst z disku, ale data jsou distribuována mezi různé serverové disky prostřednictvím distribučního systému, aby se zlepšil výpočetní výkon celého systému. V současnosti mnoho velkých internetových a e-commerce společností používá distribuované shlukovací systémy založené na serverech X86, spoléhají na masivní nasazení serverů X86 k řešení problému vysoké souběžnosti provozu.
Třetí generace, systém založený na jedné paměti: Ukládá celou databázi do paměti a výpočetní proces nevyžaduje čtení dat z disku. Výkon celého systému závisí na výkonu jednoho systému. Tradiční databáze v paměti jsou právě takové, které dokážou dobře řešit problém rychlosti přístupu pro podnikové aplikace, ale nemohou nic řešit problém škálovatelnosti obrovských dat nebo masivního souběžného přístupu.
Čtvrtá generace je systém distribuovaného shlukování založený na paměti: GemFire je takový systém, paralelní výpočetní technologie je jednou z jeho klíčových technologií, takže může škálovat výkon lineárně na základě výpočtů v paměti tím, že zvyšuje rozsah nasazení serverů.
12306 dříve přijala unixovou minipočítačovou architekturu a použila technologii GemFire k její transformaci na serverovou architekturu Linux/X86, což znamená, že zahrnuje tři generace. Od malých počítačů po X86 serverové clustery s velkou pamětí, nejenže zlepšují výkon o řád, ale také stojí mnohem méně.
GemFire je součástí podnikové platformy Pivotal pro big data PaaS. Platforma Pivotal pro big data PaaS na úrovni Pivotal má tři hlavní úrovně: Cloud Fabric, Big Data Infrastructure Layer a Application Fabric. GemFire patří do vrstvy infrastruktury velkých dat, a navíc do této vrstvy patří také databáze Greenplum; Technologie cloudové infrastruktury je Cloud Foundry; Technologie pro vrstvu vývoje aplikací jsou mimo jiné Spring Framework a RabbitMQ.
K transformaci zavádění technologie GemFire řekl Zhu Jiansheng, zástupce ředitele Institutu elektronických výpočetních technologií Čínské akademie železničních věd: "Díky technologické transformaci jsme vyřešili problém špičkové souběžnosti provozu, který nás dlouho trápil, takže lidé v celé zemi si už nestěžují z technických důvodů a my jsme konečně ulehčeni." Klíčová technologie distribuovaných clusterových dat v paměti Pivotal GemFire sehrála klíčovou roli v celé transformaci technologie. Současně, díky úsilí Pivotalu a jeho projektového týmu zajistit hladký chod starého systému a hladký přechod ze starého systému na nový během technického vývoje a transformace, byl nový systém rychle uveden do provozu. ”
|
Předchozí:12306 Bylo uniklo velké množství uživatelských hesel a adresa ke stažení databáze 12306 byla uniknutaDalší:Velké množství 12306 uživatelských dat se na internetu stalo virálním, včetně čísel uživatelských účtů, hesel v otevřeném textu, občanských karet, e-mailů atd
|
Zveřejněno 25.12.2014 19:57:14
|
