12306:分散型メモリデータ技術によりクエリを75倍高速化

管理者 · 掲載地 2014/12/25 16:18:52

背景とニーズ
中国鉄道カスタマーサービスセンターウェブサイト(www.1230**)は世界最大級のリアルタイム取引システムの一つであり、Amazon.com に匹敵します。特に春節の祝日中はウェブサイトが非常に大きな圧力にさらされています。統計によると、2012年初頭の春節のピーク時には、毎日2,000万人がこのサイトを訪れ、最大14億回の1日アクセスを記録しました。多数の同時ネットワークアクセスにより12306はほぼ麻痺状態に陥りました。中国鉄道科学院電子計算技術研究所は、12306インターネットチケットシステムの契約者として、この問題を解決する方法を緊急に見つける必要があります。
成功解決:75倍以上の速さ

2012年3月以降、鉄道公社(旧鉄道省)は12306号機の調査と改修を開始しました。 2012年6月、Pivotal GemFire分散型インメモリコンピューティングプラットフォーム(分散型インメモリコンピューティング)が12306の変換に選定されました。これは鉄科学院プロジェクトチーム長の王明哲氏と、鉄道科学院院長朱建生の指導のもとIISI情報技術有限公司が提供しました。第1フェーズでは、12306の主なボトルネックである残存するチケット照会システムをまず変革します。 9月にコード変換が完了し、システムが開始されました。 2012年のナショナルデー、オンライン予約のピーク期間には12306にログインできることが多いですが、チケット予約はまだ難しいものの、残りのチケットは非常に速いです。 2012年10月、第2段階は、GemFireで注文照会システムを変革することです(顧客は自分の注文記録を照会します)。 2013年の春節はオンライン予約のピーク時で、12306にログインできることが多いですが、チケットの予約はまだ難しいものの、残りのチケットの検索は非常に速く、自分の予約や注文の検索も非常に速いです。
システム運用データ記録によると、技術革新後、10台のX86サーバーのみを使用したことで、数十台の小型コンピュータの残りのチケット計算およびクエリ機能が実現され、1回のクエリの最大時間は約15秒から0.2秒未満に短縮され、さらに75倍以上短縮されました。 2012年の春祭りで極めて高い交通量の重複があった場合、システムはほぼ麻痺状態に陥りました。変身後、1秒間に数万件の同時クエリをサポートし、ピーク時には1秒あたり26,000件のスループットに達しますシステム全体の効率が大幅に向上します。上の画像に示されているように。
変換前のシステム運用モードでは、オーダークエリシステムは1秒あたり300〜400クエリのスループットしかサポートできず、高トラフィックの同時クエリはデータベース分割によってのみ実現可能です。変換後、スループットは毎秒数万件に達し、クエリ速度は約20ミリ秒まで保証されます。
新しい技術アーキテクチャは以下のことが可能です:デマンド弾力性に応じた動的スケーリング並行処理量が増えたら、X86サーバーを動的に増やしてミリ秒レベルの応答時間を維持することもできます。
夢の中で探す:技術革命は三世代を一歩でまたぐ
12306はこれほど衝撃的な効果を発揮でき、小さな技術的修理に頼ることは不可能であり、性能向上に力を発揮できる新しいアイデアが必要です。 12306は、GemFire分散型メモリデータプラットフォームがそのような技術の一つであることを発見しました。

　　GemFire分散型インメモリデータプラットフォームの技術的根拠上の図に示すように、クラウドコンピューティングプラットフォームの仮想化技術を通じて、複数のX86サーバーのメモリが集中管理され、最大数十テラバイトのメモリリソースプールを形成し、すべてのデータはメモリ内に読み込まれてインメモリ計算を行います。計算プロセス自体はディスクへの読み書きをする必要はなく、同期または非同期で定期的にデータをディスクに書き込むだけです。 GemFireは分散クラスタに複数のデータコピーを保存し、もしどのマシンでも故障した場合、他のマシンにバックアップがあるため、データ損失を心配する必要はなく、バックアップとしてディスクデータもあります。 GemFireは、さまざまな従来型リレーショナルデータベース、Hadoopライブラリ、その他のファイルシステムへのインメモリデータの永続化をサポートしています。

ご存知の通り、現在のコンピューティングアーキテクチャのボトルネックはストレージであり、ムーアの法則によればプロセッサの速度は倍増し、ディスクストレージの速度は非常にゆっくりと増加するため、最大10万倍もの大きなギャップが生じています(上の図参照)。これにより、GemFireがシステム性能を大幅に向上させる理由がよくわかります。
コンピューティングとストレージの関係に基づき、コンピューティングアーキテクチャは4つの世代に分けることができます。
　　初代はシングルディスクベースのシステムでした計算時にディスクからデータを読み取る必要があります。小型コンピュータやメインフレームはリーダーの一つであり、単一のシステムで究極の性能を実現しています。
　　第2世代は、ディスクを基盤とした分散クラスタリングシステムです計算過程では、ディスクからデータを読み取る必要がありますが、データは分配システムを通じて異なるサーバーディスクに分散され、システム全体の処理能力が向上します。現在、多くの大手インターネットおよびeコマース企業は、X86サーバーを基盤とした分散クラスタリングシステムを採用しており、大規模なX86サーバー展開に依存して高いトラフィックの同時進行性の問題を解決しています。
　　第3世代は単一メモリベースのシステムデータベース全体をメモリに格納し、計算過程でディスクからデータを読み取る必要はありません。システム全体の性能は単一のシステムのパフォーマンスに依存します。従来のインメモリデータベースはそのようなシステムであり、エンタープライズレベルのアプリケーションにおけるアクセス速度の問題は十分に解決できますが、大量データや大量同時アクセスによるスケーラビリティの問題には何の対応もできません。
　　第4世代はメモリベースの分散クラスタリングシステムですGemFireはそのようなシステムであり、並列計算がその主要技術の一つであるため、サーバー展開の規模を拡大することでインメモリコンピューティングに基づいて性能を線形にスケールアップできます。

12306は以前にUnixのミニコンピュータアーキテクチャを採用し、GemFire技術を用いてLinux/X86サーバークラスタアーキテクチャへと変換しました。つまり、3世代にわたるものを指します。小型コンピュータから大容量メモリのX86サーバークラスターまで、性能が桁違いに向上するだけでなく、コストも大幅に低くなります。
GemFireはPivotalのエンタープライズグレードのビッグデータPaaSプラットフォームの一部です。 PivotalのエンタープライズレベルのビッグデータPaaSプラットフォームは、クラウドファブリック、ビッグデータインフラストラクチャ層、アプリケーションファブリックの3つの主要なレベルで構成されています。 GemFireはビッグデータインフラストラクチャ層に属し、さらにGreenplumデータベースもこの層に属しています。クラウドインフラストラクチャ層の技術はCloud Foundryです。アプリケーション開発インフラストラクチャ層の技術には、Spring FrameworkやRabbitMQなどがあります。
GemFire技術導入の変革について、中国鉄道科学院電子計算技術研究所副所長の朱建生氏は「技術変革を通じて、長年悩まされてきたピーク時の交通量の重複問題を解決し、全国の人々が技術的な理由で不満を言うことがなくなり、ついに安堵しました」と述べました。 Pivotal GemFire分散型クラスタインメモリデータ技術は、技術変革全体において重要な役割を果たしてきました。同時に、Pivotalとそのプロジェクトチームが旧システムの円滑な運用と技術開発・変革の過程で旧システムから新システムへの円滑な移行を確保する努力により、新システムは迅速に立ち上げられました。 ”

スズメバチ · 掲載地 2014/12/25 19:57:14

クラウドコンピューティングは未来のトレンドです

Newton2012 · 掲載地 2014/12/25 23:54:52

12306 ああ·················

12306:分散型メモリデータ技術によりクエリを75倍高速化

関連記事

閲覧したセクション