|
|
Publicado en 25/12/2014 16:18:52
|
|
|
|
Antecedentes y necesidades
Sitio web del Centro de Atención al Cliente Ferroviario de China (www.1230**) es uno de los sistemas de trading en tiempo real más grandes del mundo, comparable a Amazon.com, y la web está bajo gran presión durante las fiestas, especialmente durante el Festival de Primavera. Según las estadísticas, durante el pico del Festival de Primavera a principios de 2012, 20 millones de personas visitaban la web cada día, con un máximo de 1.400 millones de visitas diarias. Un gran número de accesos simultáneos a la red causó que el 12306 quedara casi paralizado. El Instituto de Tecnología Informática Electrónica de la Academia China de Ciencias Ferroviarias, como contratista del sistema de billetes por Internet 12306, necesita urgentemente encontrar una solución al problema.
Resolución exitosa: más de 75 veces más rápida
Desde marzo de 2012, la Corporación Ferroviaria (anteriormente Ministerio de Ferrocarriles) ha comenzado a investigar y renovar la 12306. En junio de 2012, la plataforma de computación distribuida en memoria Pivotal GemFire (Computación Distribuida en Memoria) fue seleccionada para transformar la 12306, proporcionada por Wang Mingzhe, jefe del equipo de proyecto de la Academia de Ciencias del Hierro, e IISI Information Technology Co., Ltd. bajo la dirección de Zhu Jiansheng, director de la Academia de Ciencias Ferroviarias.La primera fase transformará primero el principal cuello de botella de 12306: el sistema de consulta de tickets restante。 En septiembre, se completó la transformación del código y se lanzó el sistema. En el Día Nacional de 2012, durante el periodo pico de reservas online, puedes descubrir que puedes iniciar sesión en 12306, aunque sigue siendo difícil reservar entradas, pero las entradas restantes son muy rápidas. En octubre de 2012,La segunda fase consiste en transformar el sistema de consulta de pedidos con GemFire (los clientes consultan sus propios registros de pedidos)。 Durante el Festival de Primavera de 2013, es el periodo álgido de la reserva online, y puedes notar que puedes iniciar sesión en 12306, aunque sigue siendo difícil reservar entradas, pero la consulta de las entradas restantes es muy rápida, y la consulta de tu propia reserva y pedido también es muy rápida.
Según el registro de datos de operación del sistema, tras la transformación técnica,Con el uso de solo 10 servidores X86, se han realizado las capacidades restantes de cálculo de tickets y consultas de decenas de pequeños ordenadores, y el tiempo máximo de una sola consulta se ha reducido de unos 15 segundos a menos de 0,2 segundos, acortado más de 75 veces。 En caso de una concurrencia extremadamente alta durante el Festival de Primavera de 2012, el sistema estuvo casi paralizado. Tras la transformación,Soporta decenas de miles de consultas concurrentes por segundo, alcanzando un rendimiento de 26.000 consultas por segundo durante los periodos punta, la eficiencia de todo el sistema mejora significativamente. Como se muestra en la imagen de arriba.
En el modo operativo del sistema antes de la transformación, el sistema de consultas de órdenes solo puede soportar un rendimiento de 300-400 consultas por segundo, y las consultas concurrentes de alto tráfico solo pueden realizarse mediante división de bases de datos. Tras la transformación, el rendimiento puede llegar a decenas de miles de consultas por segundo, y la velocidad de consulta puede garantizarse en unos 20 milisegundos.
La nueva arquitectura tecnológica puede:Escalado dinámico sobre elasticidad a la demandaCuando aumenta la cantidad de concurrencia, también puedes aumentar dinámicamente el servidor X86 para mantener un tiempo de respuesta de milisegundos.
Buscándola en un sueño: la revolución tecnológica abarca tres generaciones en un solo paso
El 12306 puede lograr efectos tan estremecedores, es imposible depender de pequeñas reparaciones técnicas, y debe haber una nueva idea que pueda aportar ventaja a la mejora del rendimiento. 12306 descubrió que la plataforma de datos distribuidos en memoria GemFire es una de esas tecnologías.
Justificación técnica de la plataforma de datos distribuidos en memoria GemFireComo se muestra en la figura anterior: Gracias a la tecnología de virtualización de la plataforma de computación en la nube, la memoria de varios servidores X86 se centraliza para formar un pool de recursos de memoria de hasta decenas de terabytes, y todos los datos se cargan en memoria para el cálculo en memoria. El proceso de cálculo en sí no necesita leer ni escribir en el disco, sino que solo escribe datos periódicamente en el disco de forma síncrona o asíncrona. GemFire almacena múltiples copias de datos en un clúster distribuido, y si alguna máquina falla, hay copias de seguridad en otras máquinas, por lo que normalmente no hay que preocuparse por la pérdida de datos, y hay datos de disco como copia de seguridad. GemFire soporta la persistencia de datos en memoria en una variedad de bases de datos relacionales tradicionales, bibliotecas Hadoop y otros sistemas de archivos.
Como todos sabemos, el cuello de botella de la arquitectura informática actual es el almacenamiento, la velocidad del procesador se duplica según la Ley de Moore, y la velocidad de almacenamiento en disco crece muy lentamente, resultando en una enorme diferencia de hasta 100.000 veces (como se muestra en la figura anterior). Esto facilita entender por qué GemFire puede mejorar enormemente el rendimiento del sistema.
Según la relación entre computación y almacenamiento, podemos dividir la arquitectura de computación en cuatro generaciones:
La primera generación, un sistema basado en un solo disco: Los datos deben leerse del disco durante los cálculos. Los ordenadores pequeños y mainframes están entre los líderes, logrando el rendimiento máximo de un solo sistema.
La segunda generación, un sistema de clústeres distribuido basado en discos: Durante el proceso de cálculo, los datos deben leerse del disco, pero los datos se distribuyen entre diferentes discos de servidor a través de un sistema de distribución para mejorar la potencia de procesamiento de todo el sistema. Actualmente, muchas grandes empresas de Internet y comercio electrónico utilizan sistemas de clustering distribuidos basados en servidores X86, apoyándose en un despliegue masivo de servidores X86 para resolver el problema de la alta concurrencia de tráfico.
La tercera generación, un sistema basado en memoria única: Coloca toda la base de datos en memoria, y el proceso de cálculo no requiere leer datos del disco. El rendimiento de todo el sistema depende del rendimiento de un solo sistema. Las bases de datos tradicionales en memoria son sistemas que pueden resolver bien el problema de la velocidad de acceso para aplicaciones empresariales, pero no pueden hacer nada respecto al problema de escalabilidad de los datos masivos o el acceso concurrente masivo.
La cuarta generación es un sistema de agrupación distribuida basada en memoria: GemFire es uno de esos sistemas, la computación paralela es una de sus tecnologías clave, por lo que puede escalar el rendimiento de forma lineal basándose en la computación en memoria aumentando la escala del despliegue de servidores.
12306 adoptó previamente la arquitectura de miniordenador Unix y utilizó la tecnología GemFire para transformarla en una arquitectura de clúster de servidores Linux/X86, lo que significa que abarca tres generaciones. Desde ordenadores pequeños hasta clústeres de servidores X86 de gran memoria, no solo mejora el rendimiento un orden de magnitud, sino que también tiene un coste mucho menor.
GemFire forma parte de la plataforma PaaS de big data de nivel empresarial de Pivotal. La plataforma PaaS de big data a nivel empresarial de Pivotal tiene tres niveles principales: Cloud Fabric, Big Data Infrastructure Layer y Application Fabric. GemFire pertenece a la capa de infraestructura de big data y, además, la base de datos Greenplum también pertenece a esta capa; La tecnología de la capa de infraestructura en la nube es Cloud Foundry; Las tecnologías para la capa de infraestructura de desarrollo de aplicaciones son Spring Framework y RabbitMQ, entre otras.
Respecto a la transformación de la introducción de la tecnología GemFire, Zhu Jiansheng, subdirector del Instituto de Tecnología Electrónica de Computación de la Academia China de Ciencias Ferroviarias, dijo: "Gracias a la transformación tecnológica, hemos resuelto el problema de la concurrencia de alta concurrencia de tráfico que nos ha perseguido durante mucho tiempo, de modo que la gente de todo el país ya no se queja por razones técnicas y finalmente nos sentimos aliviados." La tecnología de datos distribuidos en memoria Pivotal GemFire en clúster ha desempeñado un papel clave en toda la transformación tecnológica. Al mismo tiempo, gracias a los esfuerzos de Pivotal y su equipo de proyecto para garantizar el buen funcionamiento del sistema antiguo y la migración fluida del sistema antiguo al nuevo durante el desarrollo técnico y el proceso de transformación, el nuevo sistema se lanzó rápidamente. ”
|
Anterior:12306 Se filtró un gran número de contraseñas de usuario y se filtró la dirección de descarga de la base de datos 12306Próximo:Una gran cantidad de datos de usuarios 12306 se hicieron virales en Internet, incluyendo números de cuenta de usuario, contraseñas en texto plano, tarjetas de identificación, correos electrónicos, etc
|
Publicado en 25/12/2014 19:57:14
|
