|
|
Publicēts 25.12.2014 16:18:52
|
|
|
|
Vispārīga informācija un vajadzības
Ķīnas dzelzceļa klientu apkalpošanas centra tīmekļa vietne (www.1230**) ir viena no pasaulē lielākajām reālā laika tirdzniecības sistēmām, kas ir salīdzināma ar Amazon.com, un vietne ir pakļauta lielam spiedienam brīvdienās, īpaši pavasara festivāla laikā. Saskaņā ar statistiku, pavasara festivāla maksimuma laikā 2012. gada sākumā vietni katru dienu apmeklēja 20 miljoni cilvēku, maksimāli 1,4 miljardi ikdienas trāpījumu. Liels skaits vienlaicīgu tīkla piekļuves izraisīja 12306 gandrīz paralizētu. Ķīnas Dzelzceļa zinātņu akadēmijas Elektroniskās skaitļošanas tehnoloģijas institūtam kā 12306 interneta biļešu sistēmas darbuzņēmējam steidzami jāatrod veids, kā atrisināt problēmu.
Veiksmīga izšķirtspēja: vairāk nekā 75 reizes ātrāk
Kopš 2012. gada marta Dzelzceļa korporācija (agrāk Dzelzceļa ministrija) ir sākusi izmeklēt un atjaunot 12306. 2012. gada jūnijā 12306 pārveidošanai tika izvēlēta Pivotal GemFire izplatītā atmiņas skaitļošanas platforma (Distributed In-memory computing), ko nodrošināja Dzelzs zinātņu akadēmijas projekta komandas vadītājs Wang Mingzhe un IISI Information Technology Co., Ltd. Dzelzceļa zinātņu akadēmijas direktora Zhu Jiansheng vadībā.Pirmais posms vispirms pārveidos galveno vājo vietu 12306 - atlikušo biļešu pieprasījumu sistēmu。 Septembrī koda transformācija tika pabeigta un sistēma tika uzsākta. Nacionālajā dienā 2012. gadā, tiešsaistes rezervācijas pīķa periodā, jūs varat ievērojami atrast, ka varat pieteikties 12306, lai gan joprojām ir grūti rezervēt biļetes, bet atlikušās biļetes ir ļoti ātras. 2012. gada oktobrīOtrais posms ir pasūtījumu pieprasījumu sistēmas pārveidošana ar GemFire (klienti pieprasa savus pasūtījumu ierakstus)。 2013. gada pavasara festivāla laikā tas ir tiešsaistes rezervācijas pīķa periods, un jūs varat ievērojami atrast, ka varat pieteikties 12306, lai gan joprojām ir grūti rezervēt biļetes, bet atlikušo biļešu vaicājums ir ļoti ātrs, un arī jūsu rezervācijas un pasūtījuma vaicājums ir ļoti ātrs.
Saskaņā ar sistēmas darbības datu ierakstu, pēc tehniskās transformācijas,Izmantojot tikai 10 X86 serverus, ir realizētas desmitiem mazu datoru atlikušās biļešu aprēķināšanas un vaicājumu iespējas, un viena vaicājuma maksimālais laiks ir samazināts no aptuveni 15 sekundēm līdz mazāk nekā 0,2 sekundēm, kas ir saīsināts vairāk nekā 75 reizes。 Ārkārtīgi lielas satiksmes vienlaicīguma gadījumā 2012. gada pavasara festivāla laikā sistēma bija gandrīz paralizēta. Pēc transformācijas,Tas atbalsta desmitiem tūkstošu vienlaicīgu vaicājumu sekundē, sasniedzot 26 000 vaicājumu sekundē maksimuma periodos, visas sistēmas efektivitāte ir ievērojami uzlabojusies. Kā parādīts iepriekš redzamajā attēlā.
Sistēmas darbības režīmā pirms transformācijas pasūtījumu vaicājumu sistēma var atbalstīt tikai 300-400 vaicājumu sekundē, un augstas datplūsmas vienlaicīgus vaicājumus var realizēt tikai ar datu bāzes sadalīšanu. Pēc transformācijas caurlaidspēja var būt līdz pat desmitiem tūkstošu vaicājumu sekundē, un vaicājuma ātrums var būt aptuveni 20 milisekundes.
Jaunā tehnoloģiju arhitektūra var:Dinamiska mērogošana pēc pieprasījuma elastībasPalielinoties vienlaicīguma apjomam, varat arī dinamiski palielināt X86 serveri, lai saglabātu milisekundes līmeņa reakcijas laiku.
Meklējot to sapnī: tehnoloģiskā revolūcija aptver trīs paaudzes vienā solī
12306 var sasniegt tik zemi satricinošu efektu, nav iespējams paļauties uz nelieliem tehniskiem remontiem, un ir jābūt jaunai idejai, kas var radīt sviras veiktspējas uzlabošanai. 12306 atklāja, ka GemFire izplatītā atmiņā esošā datu platforma ir viena no šādām tehnoloģijām.
GemFire izplatītās atmiņas datu platformas tehniskais pamatojumsKā parādīts iepriekš redzamajā attēlā: Izmantojot mākoņdatošanas platformas virtualizācijas tehnoloģiju, vairāku X86 serveru atmiņa tiek centralizēta, lai izveidotu atmiņas resursu fondu līdz desmitiem terabaitu, un visi dati tiek ielādēti atmiņā atmiņas aprēķināšanai. Pašam skaitļošanas procesam nav nepieciešams lasīt un rakstīt diskā, bet tikai periodiski raksta datus diskā sinhroni vai asinhroni. GemFire glabā vairākas datu kopijas izplatītajā klasterī, un, ja kāda mašīna neizdodas, ir dublējumi citās mašīnās, tāpēc parasti nav jāuztraucas par datu zudumu, un diska dati ir kā dublējums. GemFire atbalsta atmiņā esošo datu saglabāšanu dažādās tradicionālajās relāciju datu bāzēs, Hadoop bibliotēkās un citās failu sistēmās.
Kā mēs visi zinām, pašreizējās skaitļošanas arhitektūras vājā vieta ir krātuve, procesora ātrums dubultojas saskaņā ar Mūra likumu, un diska glabāšanas ātrums aug ļoti lēni, kā rezultātā rodas milzīga plaisa līdz pat 100 000 reižu (kā parādīts iepriekš redzamajā attēlā). Tas ļauj viegli saprast, kāpēc GemFire var ievērojami uzlabot sistēmas veiktspēju.
Saskaņā ar attiecībām starp skaitļošanu un glabāšanu mēs varam sadalīt skaitļošanas arhitektūru četrās paaudzēs:
Pirmā paaudze, viena diska sistēma: Aprēķinu laikā dati ir jānolasa no diska. Mazie datori un lieldatori ir vieni no līderiem, sasniedzot vienas sistēmas maksimālo veiktspēju.
Otrā paaudze, sadalīta klasteru sistēma, kuras pamatā ir diski: Aprēķina procesa laikā dati ir jānolasa no diska, bet dati tiek sadalīti pa dažādiem servera diskiem, izmantojot izplatīšanas sistēmu, lai uzlabotu visas sistēmas apstrādes jaudu. Šobrīd daudzi lieli interneta un e-komercijas uzņēmumi izmanto izkliedētas klasteru sistēmas, kuru pamatā ir X86 serveri, paļaujoties uz masveida X86 serveru izvietošanu, lai atrisinātu augstas satiksmes vienlaicīguma problēmu.
Trešā paaudze, viena uz atmiņu balstīta sistēma: Ievieto atmiņā visu datu bāzi, un aprēķina procesam nav nepieciešama datu nolasīšana no diska. Visas sistēmas veiktspēja ir atkarīga no vienas sistēmas veiktspējas. Tradicionālās atmiņas datu bāzes ir tādas sistēmas, kas var labi atrisināt piekļuves ātruma problēmu uzņēmuma līmeņa lietojumprogrammām, bet nevar neko darīt ar masveida datu vai masveida vienlaicīgas piekļuves mērogojamības problēmu.
Ceturtā paaudze ir uz atmiņu balstīta sadalīta klasteru sistēma: GemFire ir šāda sistēma, paralēlā skaitļošana ir viena no tās galvenajām tehnoloģijām, tāpēc tā var lineāri mērogot veiktspēju, pamatojoties uz atmiņā esošo skaitļošanu, palielinot servera izvietošanas mērogu.
12306 iepriekš pieņēma Unix minidatoru arhitektūru un izmantoja GemFire tehnoloģiju, lai to pārveidotu par Linux/X86 serveru klastera arhitektūru, kas nozīmē, ka tā aptver trīs paaudzes. No maziem datoriem līdz lielas atmiņas X86 serveru klasteriem ne tikai uzlabo veiktspēju par lielumu, bet arī maksā daudz zemāk.
GemFire ir daļa no Pivotal uzņēmuma līmeņa lielo datu PaaS platformas. Pivotal uzņēmuma līmeņa lielo datu PaaS platformai ir trīs galvenie līmeņi: Cloud Fabric, Big Data Infrastructure Layer un Application Fabric. GemFire pieder lielo datu infrastruktūras slānim, turklāt šim slānim pieder arī Greenplum datu bāze; Mākoņa infrastruktūras slāņa tehnoloģija ir Cloud Foundry; Lietojumprogrammu izstrādes infrastruktūras slāņa tehnoloģijas cita starpā ir Spring Framework un RabbitMQ.
Attiecībā uz GemFire tehnoloģijas ieviešanas pārveidi Ķīnas Dzelzceļa zinātņu akadēmijas Elektroniskās skaitļošanas tehnoloģiju institūta direktora vietnieks Zhu Jiansheng sacīja: "Ar tehnoloģisko pārveidi mēs esam atrisinājuši maksimālās satiksmes problēmu, kas mūs ilgu laiku ir mocījusi, lai visas valsts iedzīvotāji vairs nesūdzētos tehnisku iemeslu dēļ, un mēs beidzot esam atviegloti." Pivotal GemFire izplatītā klastera atmiņas datu tehnoloģijai ir bijusi galvenā loma visā tehnoloģiju pārveidē. Tajā pašā laikā, pateicoties Pivotal un tā projekta komandas centieniem nodrošināt vienmērīgu vecās sistēmas darbību un vienmērīgu migrāciju no vecās sistēmas uz jauno sistēmu tehniskās izstrādes un pārveidošanas procesā, jaunā sistēma tika ātri uzsākta. ”
|
Iepriekšējo:12306 Tika nopludināts liels skaits lietotāju paroļu, un tika nopludināta datu bāzes lejupielādes adrese 12306Nākamo:Liels daudzums 12306 lietotāju datu kļuva vīrusu internetā, ieskaitot lietotāju kontu numurus, vienkārša teksta paroles, ID kartes, e-pastus utt
|
Publicēts 25.12.2014 19:57:14
|
