|
|
Geplaatst op 25-12-2014 16:18:52
|
|
|
|
Achtergrond en behoeften
Website van het China Railway Customer Service Center (www.1230**) is een van 's werelds grootste realtime handelssystemen, vergelijkbaar met Amazon.com, en de website staat onder grote druk tijdens feestdagen, vooral tijdens het Lentefestival. Volgens statistieken bezochten tijdens het hoogtepunt van het Lentefestival begin 2012 dagelijks 20 miljoen mensen de website, met een maximum van 1,4 miljard dagelijkse bezoekers. Een groot aantal gelijktijdige netwerktoegang zorgde ervoor dat 12306 bijna verlamd raakte. Het Instituut voor Elektronische Computertechnologie van de Chinese Academie voor Spoorwegwetenschappen, als aannemer van het 12306 internetticketsysteem, moet dringend een oplossing vinden voor het probleem.
Succesvolle resolutie: meer dan 75 keer sneller
Sinds maart 2012 is de Spoorwegmaatschappij (voorheen het Ministerie van Spoorwegen) begonnen met het onderzoeken en renoveren van 12306. In juni 2012 werd het Pivotal GemFire gedistribueerde in-memory computingplatform (Distributed In-memory computing) geselecteerd om 12306 te transformeren, dat werd geleverd door Wang Mingzhe, hoofd van het projectteam van de Academy of Iron Sciences, en IISI Information Technology Co., Ltd. onder leiding van Zhu Jiansheng, directeur van de Academy of Railway Sciences.De eerste fase zal eerst de hoofdbottleneck van 12306 transformeren - het resterende ticketquerysysteem。 In september werd de code-transformatie voltooid en werd het systeem gelanceerd. Op de Nationale Feestdag in 2012, tijdens de piekperiode van online boeken, kun je duidelijk inloggen op 12306, hoewel het nog steeds moeilijk is om tickets te boeken, maar de overige tickets zijn erg snel. In oktober 2012,De tweede fase is het transformeren van het orderaanvraagsysteem met GemFire (klanten vragen hun eigen orderrecords op)。 Tijdens het Lentefestival van 2013 is het de piekperiode van online boeken, en je kunt merken dat je kunt inloggen op 12306, hoewel het nog steeds moeilijk is om tickets te boeken, maar de vraag naar resterende tickets is erg snel, en ook de vraag naar je eigen boeking en bestelling is erg snel.
Volgens het systeemoperatiegegevensrecord, na de technische transformatie,Bij het gebruik van slechts 10 X86-servers zijn de resterende ticketberekenings- en querymogelijkheden van tientallen kleine computers gerealiseerd, en is de maximale tijd van een enkele query teruggebracht van ongeveer 15 seconden naar minder dan 0,2 seconden, wat meer dan 75 keer is verkort。 In het geval van extreem hoge verkeersconlooptijd tijdens het Lentefestival van 2012 was het systeem bijna verlamd. Na de transformatie,Het ondersteunt tienduizenden gelijktijdige queries per seconde en bereikt een doorvoer van 26.000 queries per seconde tijdens piekperiodes, de efficiëntie van het gehele systeem is aanzienlijk verbeterd. Zoals te zien is op de afbeelding hierboven.
In de systeemmodus vóór de transformatie kan het orderquerysysteem slechts een doorvoer van 300-400 queries per seconde ondersteunen, en gelijktijdige query's met veel verkeer kunnen alleen worden gerealiseerd door databasesplitsing. Na de transformatie kan de doorvoer tot tienduizenden zoekopdrachten per seconde bedragen, en de querysnelheid kan gegarandeerd ongeveer 20 milliseconden bedragen.
De nieuwe technologische architectuur kan:Dynamische schaalbaarheid op vraagelasticiteitWanneer de mate van gelijktijdigheid toeneemt, kun je ook dynamisch de X86-server verhogen om een milliseconde-responstijd te behouden.
Op zoek naar het in een droom: de technologische revolutie beslaat drie generaties in één stap
12306 kan zulke wereldschokkende effecten bereiken, het is onmogelijk om op kleine technische reparaties te vertrouwen, en er moet een nieuw idee komen dat mogelijkheden biedt voor prestatieverbetering. 12306 ontdekte dat het GemFire gedistribueerde in-memory dataplatform zo'n technologie is.
Technische redenatie van het gedistribueerde in-memory dataplatform GemFireZoals te zien is in de bovenstaande figuur: Door de virtualisatietechnologie van het cloud computing-platform wordt het geheugen van meerdere X86-servers gecentraliseerd om een geheugenresource pool te vormen van tot tientallen terabytes, en alle data wordt in het geheugen geladen voor in-memory berekening. Het rekenproces zelf hoeft niet te lezen en te schrijven naar de schijf, maar schrijft alleen periodiek gegevens naar de schijf, synchroon of asynchroon. GemFire slaat meerdere kopieën van data op in een gedistribueerd cluster, en als een machine uitvalt, zijn er back-ups op andere machines, dus meestal is er geen reden om je zorgen te maken over dataverlies en is er schijfdata als back-up. GemFire ondersteunt het behouden van gegevens in het geheugen in diverse traditionele relationele databases, Hadoop-bibliotheken en andere bestandssystemen.
Zoals we allemaal weten, is de bottleneck van de huidige computerarchitectuur opslag, verdubbelt de snelheid van de processor volgens de wet van Moore, en groeit de snelheid van schijfopslag zeer langzaam, wat resulteert in een enorme kloof van tot wel 100.000 keer (zoals te zien is in de bovenstaande figuur). Dit maakt het gemakkelijk te begrijpen waarom GemFire de systeemprestaties aanzienlijk kan verbeteren.
Volgens de relatie tussen computing en opslag kunnen we de computerarchitectuur opdelen in vier generaties:
De eerste generatie, een systeem gebaseerd op één schijf: Gegevens moeten tijdens berekeningen van de schijf worden gelezen. Kleine computers en mainframes behoren tot de koplopers en bereiken de ultieme prestaties van één enkel systeem.
De tweede generatie, een gedistribueerd clustersysteem gebaseerd op schijven: Tijdens het berekeningsproces moeten gegevens van de schijf worden gelezen, maar de data wordt verspreid over verschillende serverschijven via een distributiesysteem om de verwerkingskracht van het hele systeem te verbeteren. Op dit moment gebruiken veel grote internet- en e-commercebedrijven gedistribueerde clustersystemen gebaseerd op X86-servers, waarbij ze vertrouwen op een enorme X86-serveruitrol om het probleem van hoge verkeersgelijktijdigheid op te lossen.
De derde generatie, een enkel geheugengebaseerd systeem: Zet de volledige database in het geheugen, en het berekeningsproces vereist geen gegevens van de schijf te lezen. De prestaties van het gehele systeem hangen af van de prestaties van één enkel systeem. Traditionele in-memory databases zijn zulke systemen die het probleem van toegangssnelheid goed kunnen oplossen voor bedrijfsapplicaties, maar niets kunnen doen aan het schaalbaarheidsprobleem van enorme data of massieve gelijktijdige toegang.
De vierde generatie is een geheugengebaseerd gedistribueerd clusteringssysteem: GemFire is zo'n systeem, parallel rekenen is een van de belangrijkste technologieën, waardoor het de prestaties lineair kan opschalen op basis van in-memory computing door de schaal van serveruitrol te vergroten.
12306 adopteerde eerder de Unix-minicomputerarchitectuur en gebruikte GemFire-technologie om deze om te vormen tot een Linux/X86 serverclusterarchitectuur, wat betekent dat het drie generaties beslaat. Van kleine computers tot grote X86-serverclusters verbetert niet alleen de prestaties met een orde van grootte, maar kost het ook veel lager.
GemFire maakt deel uit van Pivotal's enterprise-grade big data PaaS-platform. Het enterprise-niveau big data PaaS-platform van Pivotal heeft drie hoofdniveaus: Cloud Fabric, Big Data Infrastructure Layer en Application Fabric. GemFire behoort tot de big data-infrastructuurlaag, en daarnaast behoort ook de Greenplum-database tot deze laag; De technologie van de cloudinfrastructuurlaag is Cloud Foundry; De technologieën voor de applicatieontwikkelingsinfrastructuurlaag zijn onder andere Spring Framework en RabbitMQ.
Over de transformatie van de introductie van GemFire-technologie zei Zhu Jiansheng, plaatsvervangend directeur van het Instituut voor Elektronische Computertechnologie van de Chinese Academie voor Spoorwegwetenschappen: "Door de technologische transformatie hebben we het probleem van piekverkeersconcurrency opgelost, dat ons al lange tijd plaagt, zodat de mensen van het hele land niet langer klagen vanwege technische redenen, en we uiteindelijk opgelucht zijn." De cruciale GemFire gedistribueerde cluster in-memory datatechnologie heeft een sleutelrol gespeeld in de gehele technologische transformatie. Tegelijkertijd werd het nieuwe systeem, dankzij de inspanningen van Pivotal en haar projectteam om de soepele werking van het oude systeem en de soepele migratie van het oude systeem naar het nieuwe systeem tijdens het technische ontwikkelings- en transformatieproces te waarborgen, snel gelanceerd. ”
|
Vorig:12306 Een groot aantal gebruikerswachtwoorden werd gelekt en het downloadadres van de 12306-database werd gelektVolgend:Een grote hoeveelheid gebruikersgegevens van 12306 ging viraal op het internet, waaronder gebruikersrekeningnummers, platte tekstwachtwoorden, ID-kaarten, e-mails, enzovoort
|
Geplaatst op 25-12-2014 19:57:14
|
