|
|
Publié sur 25/12/2014 16:18:52
|
|
|
|
Contexte et besoins
Site web du Centre de service client des chemins de fer de Chine (www.1230**) est l’un des plus grands systèmes de trading en temps réel au monde, comparable à Amazon.com, et le site est soumis à une forte pression pendant les fêtes, notamment pendant le Festival du Printemps. Selon les statistiques, au plus fort du Festival du Printemps début 2012, 20 millions de personnes visitaient le site chaque jour, avec un maximum de 1,4 milliard de visites quotidiennes. Un grand nombre d’accès simultanés au réseau a presque paralysé le 12306. L’Institut de technologie informatique électronique de l’Académie chinoise des sciences ferroviaires, en tant que contractant du système de billetterie Internet 12306, doit absolument trouver un moyen de résoudre ce problème.
Résolution réussie : plus de 75 fois plus rapide
Depuis mars 2012, la Railway Corporation (anciennement le ministère des Chemins de fer) a commencé à enquêter et à rénover le 12306. En juin 2012, la plateforme de calcul distribué en mémoire Pivotal GemFire (Distributed In-memory computing) a été sélectionnée pour transformer la 12306, fournie par Wang Mingzhe, chef de l’équipe projet de l’Académie des sciences du fer, et IISI Information Technology Co., Ltd., sous la direction de Zhu Jiansheng, directeur de l’Académie des sciences ferroviaires.La première phase transformera d’abord le principal goulot d’étranglement de 12306 - le système de requête de tickets restant。 En septembre, la transformation du code a été achevée et le système a été lancé. Le jour de la Fête nationale 2012, pendant la période de pointe des réservations en ligne, il est important de constater que vous pouvez vous connecter au 12306, même s’il reste difficile de réserver des billets, mais les billets restants sont très rapides. En octobre 2012,La deuxième phase consiste à transformer le système de demande de commande avec GemFire (les clients interrogent leurs propres dossiers de commande)。 Pendant la Fête du Printemps 2013, c’est la période de pointe des réservations en ligne, et il est important de constater que vous pouvez vous connecter au 12306, même s’il reste difficile de réserver des billets, mais la question des billets restants est très rapide, tout comme la question de votre propre réservation et commande aussi.
Selon l’enregistrement de données de fonctionnement du système, après la transformation technique,Avec seulement 10 serveurs X86, les capacités restantes de calcul de tickets et de requêtes de dizaines de petits ordinateurs ont été réalisées, et le temps maximal d’une requête a été réduit d’environ 15 secondes à moins de 0,2 seconde, ce qui a été raccourci de plus de 75 fois。 En cas de concurrence extrêmement élevée lors du Festival du Printemps 2012, le système a été presque paralysé. Après la transformation,Il prend en charge des dizaines de milliers de requêtes simultanées par seconde, atteignant un débit de 26 000 requêtes par seconde pendant les périodes de pointe, l’efficacité de l’ensemble du système est significativement améliorée. Comme montré sur l’image ci-dessus.
En mode de fonctionnement système avant la transformation, le système de requêtes d’ordre ne peut supporter qu’un débit de 300 à 400 requêtes par seconde, et les requêtes concurrentes à fort trafic ne peuvent être réalisées que par division de base de données. Après la transformation, le débit peut atteindre des dizaines de milliers de requêtes par seconde, et la vitesse de requête peut être garantie d’environ 20 millisecondes.
La nouvelle architecture technologique peut :Élasticité dynamique à la demandeLorsque la quantité de concurrence augmente, vous pouvez aussi augmenter dynamiquement le serveur X86 pour maintenir un temps de réponse de niveau milliseconde.
La chercher dans un rêve : la révolution technologique s’étend sur trois générations en un seul pas
Le 12306 peut obtenir de tels effets bouleversants, il est impossible de se fier à de petites réparations techniques, et il doit y avoir une nouvelle idée capable d’apporter un levier à l’amélioration des performances. 12306 a découvert que la plateforme de données distribuées en mémoire GemFire est l’une de ces technologies.
Justification technique de la plateforme de données distribuées en mémoire GemFireComme montré dans la figure ci-dessus : grâce à la technologie de virtualisation de la plateforme de cloud computing, la mémoire de plusieurs serveurs X86 est centralisée pour former un pool de ressources mémoire allant jusqu’à plusieurs dizaines de téraoctets, et toutes les données sont chargées en mémoire pour le calcul en mémoire. Le processus de calcul lui-même n’a pas besoin de lire et d’écrire sur le disque, mais n’écrit que périodiquement des données sur le disque, de manière synchrone ou asynchrone. GemFire stocke plusieurs copies de données dans un cluster distribué, et si une machine tombe en panne, il y a des sauvegardes sur d’autres machines, donc il n’y a généralement pas besoin de s’inquiéter de la perte de données, et il y a des données disque en sauvegarde. GemFire prend en charge la persistance des données en mémoire dans diverses bases de données relationnelles traditionnelles, des bibliothèques Hadoop et d’autres systèmes de fichiers.
Comme nous le savons tous, le goulot d’étranglement de l’architecture informatique actuelle est le stockage, la vitesse du processeur double selon la loi de Moore, et la vitesse de stockage sur disque croît très lentement, ce qui entraîne un écart énorme pouvant aller jusqu’à 100 000 fois (comme montré dans la figure ci-dessus). Cela facilite la compréhension de pourquoi GemFire peut grandement améliorer les performances du système.
Selon la relation entre le calcul et le stockage, on peut diviser l’architecture de calcul en quatre générations :
La première génération, un système basé sur un seul disque: Les données doivent être lues sur le disque lors des calculs. Les petits ordinateurs et mainframes figurent parmi les leaders, atteignant les performances ultimes d’un seul système.
La deuxième génération, un système de clustering distribué basé sur des disques: Lors du processus de calcul, les données doivent être lues sur le disque, mais les données sont réparties entre différents disques serveurs via un système de distribution afin d’améliorer la puissance de traitement de l’ensemble du système. Actuellement, de nombreuses grandes entreprises Internet et e-commerce utilisent des systèmes de clustering distribué basés sur des serveurs X86, s’appuyant sur un déploiement massif de serveurs X86 pour résoudre le problème de la forte concurrence de trafic.
La troisième génération, un système basé sur une seule mémoire: Met toute la base de données en mémoire, et le processus de calcul ne nécessite pas de lire les données sur le disque. La performance de l’ensemble du système dépend de celle d’un seul système. Les bases de données traditionnelles en mémoire sont de tels systèmes, capables de bien résoudre le problème de la vitesse d’accès pour les applications d’entreprise, mais qui ne peuvent rien faire face au problème de scalabilité lié à des données massives ou à un accès concurrent massif.
La quatrième génération est un système de clustering distribué basé sur la mémoire: GemFire est un tel système, l’informatique parallèle est l’une de ses technologies clés, ce qui lui permet d’adapter la performance de manière linéaire sur la base du calcul en mémoire en augmentant l’échelle du déploiement des serveurs.
12306 avait précédemment adopté l’architecture de mini-ordinateur Unix et utilisé la technologie GemFire pour la transformer en une architecture de cluster de serveurs Linux/X86, ce qui signifie qu’elle s’étend sur trois générations. Des petits ordinateurs aux clusters de serveurs X86 à grande mémoire, non seulement améliore les performances d’un ordre de grandeur, mais coûte aussi beaucoup moins.
GemFire fait partie de la plateforme PaaS big data de niveau entreprise de Pivotal. La plateforme PaaS big data de Pivotal à l’échelle entreprise se compose de trois niveaux principaux : Cloud Fabric, Big Data Infrastructure Layer et Application Fabric. GemFire appartient à la couche d’infrastructure big data, et de plus, la base de données Greenplum appartient également à cette couche ; La technologie de la couche d’infrastructure cloud est Cloud Foundry ; Les technologies pour la couche d’infrastructure de développement d’applications sont Spring Framework et RabbitMQ, entre autres.
Concernant la transformation de l’introduction de la technologie GemFire, Zhu Jiansheng, directeur adjoint de l’Institut de technologie informatique électronique de l’Académie chinoise des sciences ferroviaires, a déclaré : « Grâce à la transformation technologique, nous avons résolu le problème de la concurrence à fort trafic qui nous affecte depuis longtemps, si bien que la population de tout le pays ne se plaint plus pour des raisons techniques, et nous sommes enfin soulagés. » La technologie de données en mémoire distribuée Pivotal GemFire en cluster a joué un rôle clé dans toute la transformation technologique. Parallèlement, grâce aux efforts de Pivotal et de son équipe projet pour assurer le bon fonctionnement de l’ancien système et la migration fluide de l’ancien système vers le nouveau système lors du développement technique et de la transformation, le nouveau système a été rapidement lancé. ”
|
Précédent:12306 Un grand nombre de mots de passe utilisateurs ont été divulgués, et l’adresse de téléchargement de la base de données 12306 a été divulguéeProchain:Une grande quantité de données utilisateur 12306 est devenue virale sur Internet, notamment des numéros de compte utilisateur, des mots de passe en clair, des cartes d’identité, des e-mails, etc
|
Publié sur 25/12/2014 19:57:14
|
