|
|
Pubblicato su 25/12/2014 16:18:52
|
|
|
|
Contesto e necessità
Sito web del Centro di Assistenza Clienti Ferroviaria Cinese (www.1230**) è uno dei più grandi sistemi di trading in tempo reale al mondo, paragonabile a Amazon.com, e il sito è sottoposto a grande pressione durante le festività, specialmente durante il Festival di Primavera. Secondo le statistiche, durante il picco della Festa di Primavera all'inizio del 2012, 20 milioni di persone visitavano il sito ogni giorno, con un massimo di 1,4 miliardi di visite giornaliere. Un gran numero di accessi simultanei alla rete ha causato la quasi paralizzazione del 12306. L'Istituto di Tecnologia Elettronica dell'Accademia Cinese delle Scienze Ferroviarie, in qualità di appaltatore del sistema di biglietteria Internet 12306, ha urgentemente bisogno di trovare un modo per risolvere il problema.
Risoluzione di successo: più di 75 volte più veloce
Da marzo 2012, la Railway Corporation (precedentemente Ministero delle Ferrovie) ha iniziato a indagare e ristrutturare la 12306. Nel giugno 2012, la piattaforma di calcolo distribuito in memoria Pivotal GemFire (Distributed In-memory computing) è stata selezionata per trasformare la 12306, fornita da Wang Mingzhe, capo del team di progetto dell'Accademia delle Scienze del Ferro, e dalla IISI Information Technology Co., Ltd. sotto la guida di Zhu Jiansheng, direttore dell'Accademia delle Scienze Ferroviarie.La prima fase trasformerà prima il principale collo di bottiglia di 12306 - il sistema di query dei ticket rimanente。 A settembre la trasformazione del codice fu completata e il sistema fu lanciato. Nel giorno della Festa Nazionale del 2012, durante il periodo di punta delle prenotazioni online, si può notare significativamente che si può accedere a 12306, anche se è ancora difficile prenotare i biglietti, ma i biglietti rimanenti sono molto veloci. Nell'ottobre 2012,La seconda fase consiste nel trasformare il sistema di richieste d'ordine con GemFire (i clienti interrogano i propri registri degli ordini)。 Durante il Festival di Primavera del 2013, è il periodo di massimo utilizzo delle prenotazioni online, e si può notare significativamente che si può accedere a 12306, anche se è ancora difficile prenotare i biglietti, ma la questione dei biglietti rimanenti è molto rapida, così come la prenotazione e l'ordine personali è molto rapida.
Secondo il record dei dati operativi del sistema, dopo la trasformazione tecnica,Con l'uso di soli 10 server X86, sono state realizzate le restanti capacità di calcolo dei ticket e query di decine di piccoli computer, e il tempo massimo di una singola query è stato ridotto da circa 15 secondi a meno di 0,2 secondi, ridotto di oltre 75 volte。 Nel caso di traffico estremamente elevato durante il Festival di Primavera 2012, il sistema era quasi paralizzato. Dopo la trasformazione,Supporta decine di migliaia di query concorrenti al secondo, raggiungendo una portata di 26.000 query al secondo durante i periodi di picco, l'efficienza dell'intero sistema è significativamente migliorata. Come mostrato nell'immagine sopra.
Nella modalità operativa del sistema prima della trasformazione, il sistema di query ordini può supportare solo una velocità di 300-400 query al secondo, e le query concorrenti ad alto traffico possono essere realizzate solo tramite divisione del database. Dopo la trasformazione, la velocità di query può arrivare fino a decine di migliaia di query al secondo, e la velocità di query può essere garantita intorno a 20 millisecondi.
La nuova architettura tecnologica può:Elasticità della scalabilità dinamica sulla domandaQuando la quantità di concurrency aumenta, puoi anche aumentare dinamicamente il server X86 per mantenere un tempo di risposta di livello millisecondo.
Cercarlo in un sogno: la rivoluzione tecnologica attraversa tre generazioni in un solo passo
Il 12306 può ottenere effetti così sconvolgenti, è impossibile affidarsi a piccole riparazioni tecniche, e deve esserci una nuova idea che possa portare leva al miglioramento delle prestazioni. 12306 scoprì che la piattaforma dati distribuiti in memoria GemFire è una di queste tecnologie.
Motivazione tecnica della piattaforma dati distribuiti in memoria GemFireCome mostrato nella figura sopra: attraverso la tecnologia di virtualizzazione della piattaforma di cloud computing, la memoria di diversi server X86 viene centralizzata per formare un pool di risorse di memoria fino a decine di terabyte, e tutti i dati vengono caricati in memoria per il calcolo in memoria. Il processo di calcolo stesso non ha bisogno di leggere e scrivere sul disco, ma scrive solo periodicamente i dati sul disco in modo sincrono o asincrono. GemFire memorizza più copie dei dati in un cluster distribuito e, se una macchina si guasta, ci sono backup su altre macchine, quindi di solito non c'è bisogno di preoccuparsi della perdita di dati, e ci sono dati del disco come backup. GemFire supporta la persistenza dei dati in memoria in una varietà di database relazionali tradizionali, librerie Hadoop e altri file system.
Come tutti sappiamo, il collo di bottiglia dell'architettura informatica attuale è lo storage, la velocità del processore raddoppia secondo la legge di Moore, e la velocità di archiviazione su disco cresce molto lentamente, causando un enorme divario fino a 100.000 volte (come mostrato nella figura sopra). Questo rende facile capire perché GemFire possa migliorare notevolmente le prestazioni del sistema.
Secondo la relazione tra calcolo e archiviazione, possiamo suddividere l'architettura di calcolo in quattro generazioni:
La prima generazione, un sistema basato su un singolo disco: I dati devono essere letti dal disco durante i calcoli. I piccoli computer e i mainframe sono tra i leader, raggiungendo le prestazioni finali di un singolo sistema.
La seconda generazione, un sistema di clustering distribuito basato su dischi: Durante il processo di calcolo, i dati devono essere letti dal disco, ma i dati vengono distribuiti tra diversi dischi server tramite un sistema di distribuzione per migliorare la potenza di calcolo dell'intero sistema. Attualmente, molte grandi aziende di Internet e e-commerce utilizzano sistemi di clustering distribuiti basati su server X86, affidandosi a un enorme dispiegamento di server X86 per risolvere il problema dell'elevata concorrenza di traffico.
La terza generazione, un sistema basato su memoria singola: Mette l'intero database in memoria e il processo di calcolo non richiede la lettura dei dati dal disco. Le prestazioni dell'intero sistema dipendono dalle prestazioni di un singolo sistema. I database tradizionali in memoria sono sistemi che possono risolvere bene il problema della velocità di accesso per applicazioni a livello enterprise, ma non possono fare nulla contro il problema della scalabilità dei dati massici o dell'accesso concorrente massiccio.
La quarta generazione è un sistema di clustering distribuito basato su memoria: GemFire è un sistema di questo tipo, il calcolo parallelo è una delle sue tecnologie chiave, quindi può scalare le prestazioni in modo lineare sulla base del calcolo in memoria aumentando la scala del deployment dei server.
12306 aveva precedentemente adottato l'architettura dei minicomputer Unix e ha utilizzato la tecnologia GemFire per trasformarla in un'architettura cluster server Linux/X86, il che significa che si estende su tre generazioni. Dai piccoli computer ai cluster server X86 con grande memoria, non solo migliora le prestazioni di un ordine di grandezza, ma costa anche molto meno.
GemFire fa parte della piattaforma Big Data PaaS di livello enterprise di Pivotal. La piattaforma Big Data PaaS a livello enterprise di Pivotal si compone di tre livelli principali: Cloud Fabric, Big Data Infrastructure Layer e Application Fabric. GemFire appartiene al livello infrastrutturale big data e, inoltre, anche il database Greenplum appartiene a questo livello; La tecnologia del livello infrastrutturale cloud è Cloud Foundry; Le tecnologie per il livello infrastrutturale di sviluppo applicativo sono Spring Framework e RabbitMQ, tra le altre.
Riguardo alla trasformazione dell'introduzione della tecnologia GemFire, Zhu Jiansheng, vicedirettore dell'Istituto di Tecnologia Elettronica dell'Accademia Cinese delle Scienze Ferroviarie, ha dichiarato: "Attraverso la trasformazione tecnologica, abbiamo risolto il problema della concorrenza ad alto traffico che ci affligge da tempo, così che la popolazione di tutto il paese non si lamenta più per motivi tecnici, e finalmente siamo sollevati." La tecnologia di dati in memoria distribuita Pivotal GemFire a cluster ha svolto un ruolo chiave nell'intera trasformazione tecnologica. Allo stesso tempo, grazie agli sforzi di Pivotal e del suo team di progetto per garantire il funzionamento fluido del vecchio sistema e la transizione fluida dal vecchio sistema all'altro durante il processo di sviluppo tecnico e trasformazione, il nuovo sistema è stato rapidamente lanciato. ”
|
Precedente:12306 Un gran numero di password utente è stato trapelato e l'indirizzo di download del database 12306 è stato trapelatoProssimo:Una grande quantità di dati degli utenti 12306 è diventata virale su Internet, inclusi numeri di account utente, password in chiaro, carte d'identità, email, ecc
|
Pubblicato su 25/12/2014 19:57:14
|
