|
|
Publisert på 25.12.2014 16:18:52
|
|
|
|
Bakgrunn og behov
China Railway Customer Service Center nettside (www.1230**) er et av verdens største sanntidshandelssystemer, sammenlignbart med Amazon.com, og nettstedet er under stort press i høytidene, spesielt under vårfestivalen. Ifølge statistikk besøkte 20 millioner mennesker nettsiden hver dag under toppen av vårfestivalen tidlig i 2012, med maksimalt 1,4 milliarder daglige treff. Et stort antall samtidige nettverkstilganger førte til at 12306 nesten ble lammet. Institutt for elektronisk datateknologi ved det kinesiske jernbanevitenskapsakademiet, som leverandør av 12306 Internett-billettsystemet, må raskt finne en løsning på problemet.
Vellykket oppløsning: mer enn 75 ganger raskere
Siden mars 2012 har Jernbaneselskapet (tidligere Jernbanedepartementet) begynt å undersøke og renovere 12306. I juni 2012 ble Pivotal GemFire distribuert minneplattform (Distributed In-memory computing) valgt for å transformere 12306, som ble levert av Wang Mingzhe, leder for prosjektteamet ved Academy of Iron Sciences, og IISI Information Technology Co., Ltd. under ledelse av Zhu Jiansheng, direktør for Academy of Railway Sciences.Den første fasen vil først transformere hovedflaskehalsen i 12306 – det gjenværende billettspørringssystemet。 I september ble kodetransformasjonen fullført og systemet ble lansert. På nasjonaldagen i 2012, under den mest krevende tiden med nettbestilling, kan du tydelig oppdage at du kan logge inn på 12306, selv om det fortsatt er vanskelig å bestille billetter, men de resterende billettene går veldig raskt. I oktober 2012,Den andre fasen er å transformere bestillingssystemet med GemFire (kundene spør i sine egne ordreoppføringer)。 Under vårfestivalen i 2013 er det den mest intense perioden for nettbestilling, og du kan tydeligvis oppdage at du kan logge inn på 12306, selv om det fortsatt er vanskelig å bestille billetter, men søket etter resterende billetter er veldig raskt, og forespørselen om din egen bestilling og bestilling er også veldig rask.
Ifølge systemdriftsdataen, etter den tekniske transformasjonen,Ved bruk av kun 10 X86-servere er de gjenværende billettberegnings- og spørringsmulighetene til dusinvis av små datamaskiner realisert, og maksimal tid for en enkelt spørring er redusert fra omtrent 15 sekunder til mindre enn 0,2 sekunder, noe som har blitt forkortet med mer enn 75 ganger。 Ved ekstremt høy trafikktrafikk under vårfestivalen i 2012 ble systemet nesten lammet. Etter transformasjonen,Den støtter titusenvis av samtidige forespørsler per sekund, og når en gjennomstrømning på 26 000 forespørsler per sekund i toppperioder, er effektiviteten til hele systemet betydelig forbedret. Som vist på bildet over.
I systemdriftsmodus før transformasjonen kan ordrespørringssystemet kun støtte en gjennomstrømning på 300–400 spørringer per sekund, og samtidige spørringer med høy trafikk kan kun realiseres gjennom databasedeling. Etter transformasjonen kan gjennomstrømningen være opptil titusenvis av spørringer per sekund, og spørringshastigheten kan garanteres å være omtrent 20 millisekunder.
Den nye teknologiarkitekturen kan:Dynamisk skalering på etterspørselselastisitetNår mengden samtidighet øker, kan du også dynamisk øke X86-serveren for å opprettholde en responstid på millisekundnivå.
Leter etter det i en drøm: den teknologiske revolusjonen strekker seg over tre generasjoner i ett steg
12306 kan oppnå slike jordskjelvende effekter, det er umulig å stole på små tekniske reparasjoner, og det må finnes en ny idé som kan gi fordeler til ytelsesforbedring. 12306 oppdaget at GemFire-distribuerte minnedataplattformen er en slik teknologi.
Teknisk begrunnelse for GemFires distribuerte minneplattformSom vist i figuren over: Gjennom virtualiseringsteknologien til skyplattformen sentraliseres minnet til flere X86-servere for å danne en minneressurspool på opptil titalls terabyte, og all data lastes inn i minnet for beregning i minnet. Selve beregningsprosessen trenger ikke å lese og skrive til disken, men skriver kun data til disken periodisk synkront eller asynkront. GemFire lagrer flere kopier av data i en distribuert klynge, og hvis en maskin feiler, finnes det sikkerhetskopier på andre maskiner, så det er vanligvis ingen grunn til å bekymre seg for datatap, og diskdata er som backup. GemFire støtter lagring av data i minnet i en rekke tradisjonelle relasjonsdatabaser, Hadoop-biblioteker og andre filsystemer.
Som vi alle vet, er flaskehalsen i dagens databehandlingsarkitektur lagring, prosessorens hastighet dobles ifølge Moores lov, og hastigheten på disklagring vokser svært sakte, noe som resulterer i et enormt gap på opptil 100 000 ganger (som vist i figuren over). Dette gjør det lett å forstå hvorfor GemFire kan forbedre systemytelsen betydelig.
I henhold til forholdet mellom databehandling og lagring kan vi dele dataarkitekturen inn i fire generasjoner:
Første generasjon, et enkelt diskbasert system: Data må leses fra disk under beregninger. Små datamaskiner og stordatamaskiner er blant lederne, og oppnår den ultimate ytelsen til ett enkelt system.
Den andre generasjonen, et distribuert klyngesystem basert på disker: Under beregningsprosessen må data leses fra disk, men dataene fordeles på ulike serverdisker gjennom et distribusjonssystem for å forbedre prosesseringskraften i hele systemet. For øyeblikket bruker mange store internett- og e-handelsselskaper distribuerte klyngesystemer basert på X86-servere, og er avhengige av massiv utrulling av X86-servere for å løse problemet med høy trafikksamtidighet.
Den tredje generasjonen, et enkelt minnebasert system: Legger hele databasen i minnet, og beregningsprosessen krever ikke at data leses fra disken. Ytelsen til hele systemet avhenger av ytelsen til ett enkelt system. Tradisjonelle minnedatabaser er slike systemer som kan løse problemet med tilgangshastighet godt for bedriftsapplikasjoner, men som ikke kan gjøre noe med skalerbarhetsproblemet med massiv data eller massiv samtidig tilgang.
Den fjerde generasjonen er et minnebasert distribuert klyngesystem: GemFire er et slikt system, parallell databehandling er en av nøkkelteknologiene, så det kan skalere ytelsen lineært basert på minnebasert databehandling ved å øke omfanget av serverdistribusjon.
12306 tok tidligere i bruk Unix-minidatamaskinarkitekturen og brukte GemFire-teknologi for å omdanne den til en Linux/X86-serverklyngearkitektur, noe som betyr at den strekker seg over tre generasjoner. Fra små datamaskiner til store minne X86-serverklynger forbedrer ikke bare ytelsen med en størrelsesorden, men koster også mye lavere.
GemFire er en del av Pivotals store dataplattform PaaS på bedriftsnivå. Pivotals store dataplattform på bedriftsnivå har tre hovednivåer: Cloud Fabric, Big Data Infrastructure Layer og Application Fabric. GemFire tilhører big data-infrastrukturlaget, og i tillegg tilhører Greenplum-databasen også dette laget; Teknologien i skyinfrastrukturlaget er Cloud Foundry; Teknologiene for applikasjonsutviklingsinfrastrukturlaget er Spring Framework og RabbitMQ, blant andre.
Når det gjelder transformasjonen av innføringen av GemFire-teknologi, sa Zhu Jiansheng, visedirektør ved Institutt for elektronisk datateknologi ved det kinesiske jernbanevitenskapsakademiet: «Gjennom den teknologiske transformasjonen har vi løst problemet med topptrafikk og høy trafikk som har plaget oss lenge, slik at folk i hele landet ikke lenger klager på tekniske grunner, og vi er endelig lettet.» Pivotal GemFire distribuert klynge-in-memory datateknologi har spilt en nøkkelrolle i hele teknologitransformasjonen. Samtidig, takket være innsatsen til Pivotal og prosjektteamet for å sikre smidig drift av det gamle systemet og en smidig overgang fra det gamle systemet til det nye systemet under den tekniske utviklings- og transformasjonsprosessen, ble det nye systemet raskt lansert. ”
|
Foregående:12306 Et stort antall brukerpassord ble lekket, og nedlastingsadressen til 12306-databasen ble lekketNeste:En stor mengde 12306-brukerdata gikk viralt på Internett, inkludert brukerkontonumre, klartekstpassord, ID-kort, e-poster osv
|
Publisert på 25.12.2014 19:57:14
|
