|
|
Zverejnené 25. 12. 2014 16:18:52
|
|
|
|
Pozadie a potreby
Webová stránka Zákazníckeho servisného centra Čínskych železníc (www.1230**) je jedným z najväčších svetových systémov obchodovania v reálnom čase, porovnateľným s Amazon.com, a webová stránka je počas sviatkov, najmä počas Jarného festivalu, pod veľkým tlakom. Podľa štatistík počas vrcholu Jarného festivalu začiatkom roku 2012 navštívilo webovú stránku denne 20 miliónov ľudí, s maximálnym priemerom 1,4 miliardy denných návštev. Veľké množstvo súčasných prístupov k sieti spôsobilo, že 12306 bola takmer paralyzovaná. Inštitút elektronických výpočtových technológií Čínskej akadémie železničných vied, ako dodávateľ internetového systému cestovného lístka 12306, naliehavo potrebuje nájsť spôsob, ako tento problém vyriešiť.
Úspešné vyriešenie: viac ako 75-krát rýchlejšie
Od marca 2012 začala Železničná korporácia (predtým Ministerstvo železníc) vyšetrovať a renovovať 12306. V júni 2012 bola na transformáciu 12306 vybraná platforma Pivotal GemFire pre distribuované výpočty v pamäti (Distributed In-memory computing), ktorú poskytol Wang Mingzhe, vedúci projektového tímu Akadémie železných vied, a IISI Information Technology Co., Ltd. pod vedením Zhu Jianshenga, riaditeľa Akadémie železničných vied.Prvá fáza najskôr transformuje hlavné úzke miesto 12306 – zostávajúci systém dotazovania tiketov。 V septembri bola transformácia kódu dokončená a systém bol spustený. Na Národný sviatok v roku 2012, počas vrcholu online rezervácií, sa môžete výrazne prihlásiť na číslo 12306, hoci je stále ťažké rezervovať lístky, ale zostávajúce lístky sú veľmi rýchle. V októbri 2012,Druhou fázou je transformácia systému dopytovania objednávok pomocou GemFire (zákazníci vyhľadávajú svoje vlastné záznamy o objednávkach)。 Počas jarného festivalu 2013 je to vrcholné obdobie online rezervácií a môžete sa výrazne prihlásiť na 12306, hoci rezervácia lístkov je stále náročná, ale vyhľadávanie zostávajúcich lístkov je veľmi rýchle a vyhľadávanie vašej vlastnej rezervácie a objednávky je tiež veľmi rýchle.
Podľa záznamu o prevádzke systému, po technickej transformácii,Pri použití iba 10 X86 serverov boli dosiahnuté zostávajúce možnosti výpočtu a dotazovania tiketov desiatok malých počítačov a maximálny čas jedného dotazu bol znížený z približne 15 sekúnd na menej ako 0,2 sekundy, čo bolo skrátené viac ako 75-krát。 V prípade extrémne vysokej premávky počas jarného festivalu 2012 bol systém takmer paralyzovaný. Po transformácii,Podporuje desaťtisíce súbežných dotazov za sekundu, pričom počas špičkových období dosahuje priepustnosť 26 000 dotazov za sekundu, účinnosť celého systému sa výrazne zlepšuje. Ako je znázornené na obrázku vyššie.
V režime prevádzky systému pred transformáciou môže systém dotazov na poradie podporovať priepustnosť iba 300-400 dotazov za sekundu a súbežné dotazy s vysokou prevádzkou je možné realizovať iba prostredníctvom rozdelenia databázy. Po transformácii môže byť priepustnosť až desaťtisíce dotazov za sekundu a rýchlosť dotazu môže byť garantovaná približne 20 milisekúnd.
Nová technologická architektúra môže:Dynamická elasticita škálovania podľa dopytuKeď sa zvýši množstvo súbežnosti, môžete tiež dynamicky zvýšiť X86 server, aby ste udržali odozvu na úrovni milisekúnd.
Hľadanie v sne: technologická revolúcia sa rozprestiera cez tri generácie v jednom kroku
12306 dokáže dosiahnuť takéto otrasné účinky, nie je možné sa spoliehať na malé technické opravy a musí existovať nový nápad, ktorý prinesie výhodu zlepšeniu výkonu. 12306 zistil, že distribuovaná dátová platforma GemFire v pamäti je jednou z takýchto technológií.
Technické zdôvodnenie platformy GemFire pre distribuované dáta v pamätiAko je znázornené na obrázku vyššie: Vďaka virtualizačnej technológii cloud computingovej platformy je pamäť niekoľkých X86 serverov centralizovaná tak, aby vytvorila pamäťový zdrojový fond až do desiatok terabajtov a všetky dáta sa načítavajú do pamäte na výpočet v pamäti. Samotný výpočtový proces nemusí čítať a zapisovať na disk, ale iba periodicky zapisuje dáta na disk synchronne alebo asynchrónne. GemFire ukladá viacero kópií dát do distribuovaného klastra a ak zlyhá niektorý stroj, zálohy sú na iných strojoch, takže zvyčajne nie je dôvod obávať sa straty dát a ako záloha sú k dispozícii dáta z disku. GemFire podporuje uchovávanie dát v pamäti do rôznych tradičných relačných databáz, knižníc Hadoop a iných súborových systémov.
Ako všetci vieme, úzkym miestom súčasnej výpočtovej architektúry je úložisko, rýchlosť procesora sa podľa Mooreovho zákona zdvojnásobuje a rýchlosť diskového úložiska rastie veľmi pomaly, čo vedie k obrovskej medzere až 100 000-násobnej (ako je znázornené na obrázku vyššie). To uľahčuje pochopenie, prečo GemFire môže výrazne zlepšiť výkon systému.
Podľa vzťahu medzi výpočtovou technikou a úložiskom môžeme výpočtovú architektúru rozdeliť na štyri generácie:
Prvá generácia, systém založený na jednom disku: Údaje je potrebné čítať z disku počas výpočtov. Medzi lídrami sú malé počítače a mainframy, ktoré dosahujú maximálny výkon jedného systému.
Druhá generácia, distribuovaný zhlukovací systém založený na diskoch: Počas výpočtového procesu je potrebné údaje čítať z disku, ale dáta sú distribuované medzi rôzne serverové disky cez distribučný systém, aby sa zlepšil výpočtový výkon celého systému. V súčasnosti mnohé veľké internetové a e-commerce spoločnosti používajú distribuované zhlukovacie systémy založené na X86 serveroch, pričom sa spoliehajú na masívne nasadenie X86 serverov na riešenie problému vysokej prevádzkovej súbežnosti.
Tretia generácia, systém založený na jednej pamäti: Umiestňuje celú databázu do pamäte a proces výpočtu nevyžaduje čítanie dát z disku. Výkon celého systému závisí od výkonu jedného systému. Tradičné databázy v pamäti sú takéto systémy, ktoré dokážu dobre vyriešiť problém rýchlosti prístupu pre podnikové aplikácie, ale nedokážu nič urobiť s problémom škálovateľnosti masívnych dát alebo masívneho súbežného prístupu.
Štvrtá generácia je systém distribuovaného klastrovania založený na pamäti: GemFire je taký systém, paralelné výpočty sú jednou z jeho kľúčových technológií, takže môže škálovať výkon lineárne na základe výpočtov v pamäti zvýšením rozsahu nasadenia serverov.
12306 predtým prijala Unix minipočítačovú architektúru a použila technológiu GemFire na jej transformáciu na Linux/X86 serverovú klastrovú architektúru, čo znamená, že pokrýva tri generácie. Od malých počítačov po veľké X86 serverové klastre nielenže zlepšujú výkon o rád, ale aj stoja oveľa nižšie.
GemFire je súčasťou podnikovej platformy Pivotal pre veľké dáta PaaS. Enterprise big data PaaS platforma Pivotal má tri hlavné úrovne: Cloud Fabric, Big Data Infrastructure Layer a Application Fabric. GemFire patrí do vrstvy big data infraštruktúry a okrem toho do tejto vrstvy patrí aj databáza Greenplum; Technológia cloudovej infraštruktúrnej vrstvy je Cloud Foundry; Technológie pre vrstvu infraštruktúry vývoja aplikácií sú Spring Framework a RabbitMQ, medzi inými.
K transformácii zavedenia technológie GemFire povedal Zhu Jiansheng, zástupca riaditeľa Inštitútu elektronických výpočtových technológií Čínskej akadémie železničných vied: "Vďaka technologickej transformácii sme vyriešili problém špičkovej premávky a súbežnosti, ktorý nás dlhodobo trápil, takže ľudia v celej krajine už neprotestujú z technických dôvodov a konečne sme uľavení." Kľúčová technológia distribuovaných klastrových dát v pamäti zohrala kľúčovú úlohu v celej transformácii technológií. Zároveň, vďaka úsiliu spoločnosti Pivotal a jej projektového tímu zabezpečiť hladký chod starého systému a plynulú migráciu zo starého systému na nový počas technického vývoja a transformačného procesu, bol nový systém rýchlo spustený. ”
|
Predchádzajúci:12306 Uniklo veľké množstvo používateľských hesiel a unikla adresa na stiahnutie databázy 12306Budúci:Veľké množstvo údajov o 12306 používateľoch sa stalo virálnymi na internete, vrátane čísel používateľských účtov, hesiel v čistom texte, preukazov, e-mailov a podobne
|
Zverejnené 25. 12. 2014 19:57:14
|
