|
|
Опубліковано 25.12.2014 16:18:52
|
|
|
|
Передумови та потреби
Вебсайт Центру обслуговування клієнтів Китайської залізниці (www.1230**) — одна з найбільших у світі систем торгівлі в реальному часі, порівнянна з Amazon.com, і сайт перебуває під великим тиском під час свят, особливо під час Весняного фестивалю. За статистикою, під час піку Весняного фестивалю на початку 2012 року щодня сайт відвідували 20 мільйонів людей, максимум — 1,4 мільярда щоденних відвідувань. Велика кількість одночасних доступів до мережі призвела до майже паралічу 12306. Інститут електронних обчислювальних технологій Китайської академії залізничних наук, як підрядник інтернет-системи квитків 12306, терміново потребує знайти спосіб вирішення цієї проблеми.
Успішне розв'язання: більш ніж у 75 разів швидше
З березня 2012 року Залізнична корпорація (раніше Міністерство залізниць) розпочала дослідження та реконструкцію 12306. У червні 2012 року було обрано Pivotal GemFire (розподілені обчислення в пам'яті) для трансформації 12306, яку забезпечили Ван Мінчже, керівник проєктної команди Академії залізних наук, та IISI Information Technology Co., Ltd. під керівництвом Чжу Цзяньшена, директора Академії залізничних наук.Перший етап спочатку трансформує основне вузьке місце 12306 — залишкову систему запитів до квитків。 У вересні трансформація коду була завершена, і система була запущена. У Національний день 2012 року, у піковий період онлайн-бронювання, можна увійти на 12306, хоча квитки все ще складно, але решта квитків дуже швидка. У жовтні 2012 року,Другий етап — трансформація системи запиту замовлень за допомогою GemFire (клієнти запитують власні записи замовлень)。 Під час Весняного фестивалю 2013 року це пік онлайн-бронювання, і ви можете увійти в 12306, хоча все ще складно забронювати квитки, але запит щодо залишкових квитків дуже швидкий, а запит щодо вашого власного бронювання та замовлення теж дуже швидкий.
Згідно з записом даних про роботу системи, після технічної трансформації,За допомогою лише 10 серверів X86 реалізовано решту можливостей розрахунку квитків і запитів десятків малих комп'ютерів, а максимальний час одного запиту скорочено з приблизно 15 секунд до менш ніж 0,2 секунди, що скорочено більш ніж у 75 разів。 У випадку надзвичайно високої спільності руху під час Весняного фестивалю 2012 року система була майже паралізована. Після трансформації,Він підтримує десятки тисяч одночасних запитів на секунду, досягаючи пропускної здатності 26 000 запитів на секунду в періоди піку, ефективність усієї системи значно підвищується. Як показано на зображенні вище.
У режимі роботи системи перед трансформацією система запитів порядку може підтримувати пропускну здатність лише 300-400 запитів на секунду, а одночасні запити з великим трафіком можна реалізувати лише шляхом розділення бази даних. Після трансформації пропускна здатність може сягати десятків тисяч запитів за секунду, а швидкість запиту гарантовано становить близько 20 мілісекунд.
Нова архітектура технології може:Динамічне масштабування еластичності на вимогуКоли кількість паралелізму зростає, ви також можете динамічно збільшувати X86 сервер, щоб підтримувати час відповіді на рівні мілісекунди.
Пошук у сні: технологічна революція охоплює три покоління в одному кроці
12306 може досягти таких потужних ефектів, що неможливо покладатися на дрібні технічні ремонти, і має з'явитися нова ідея, яка може принести важелі для покращення продуктивності. 12306 виявив, що платформа розподілених даних у пам'яті GemFire є однією з таких технологій.
Технічне обґрунтування розподіленої платформи даних GemFire у пам'ятіЯк показано на рисунку вище: завдяки технології віртуалізації хмарної платформи пам'ять кількох серверів X86 централізована для формування пулу ресурсів пам'яті до десятків терабайт, і всі дані завантажуються в пам'ять для внутрішньопам'ятних обчислень. Сам процес обчислення не потребує читання та запису на диск, а лише періодично записує дані на диск синхронно або асинхронно. GemFire зберігає кілька копій даних у розподіленому кластері, і якщо будь-яка машина виходить з ладу, резервні копії залишаються на інших машинах, тому зазвичай немає потреби турбуватися про втрату даних, а дискові дані є резервними. GemFire підтримує збереження даних у пам'яті у різноманітних традиційних реляційних базах даних, бібліотеках Hadoop та інших файлових системах.
Як усім відомо, вузьким місцем сучасної обчислювальної архітектури є зберігання, швидкість процесора подвоюється згідно із законом Мура, а швидкість дискового зберігання зростає дуже повільно, що призводить до величезної різниці до 100 000 разів (як показано на рисунку вище). Це полегшує розуміння, чому GemFire може суттєво покращити продуктивність системи.
Відповідно до взаємозв'язку між обчисленнями та зберіганням, ми можемо поділити обчислювальну архітектуру на чотири покоління:
Перше покоління — система на основі одного диска: Дані потрібно зчитувати з диска під час обчислень. Малі комп'ютери та мейнфрейми є серед лідерів, забезпечуючи максимальну продуктивність однієї системи.
Друге покоління — розподілена кластерна система на основі дисків: Під час обчислення дані потрібно зчитувати з диска, але дані розподіляються між різними серверними дисками через систему розподілу для підвищення обчислювальної потужності всієї системи. Наразі багато великих інтернет- та електронних комерціальних компаній використовують розподілені кластерні системи на базі серверів X86, покладаючись на масове розгортання серверів X86 для вирішення проблеми високої паралелізації трафіку.
Третє покоління — система на основі однієї пам'яті: Зберігає всю базу даних у пам'яті, і процес обчислення не вимагає читання даних з диска. Продуктивність усієї системи залежить від продуктивності однієї системи. Традиційні бази даних у пам'яті — це такі системи, які можуть добре вирішити проблему швидкості доступу для корпоративних застосунків, але не можуть нічого зробити з проблемою масштабованості великих даних або масового одночасного доступу.
Четверте покоління — це розподілена кластерна система на основі пам'яті: GemFire — це така система, паралельні обчислення — одна з її ключових технологій, тому вона може лінійно масштабувати продуктивність на основі обчислень у пам'яті, збільшуючи масштаб розгортання серверів.
12306 раніше перейняв архітектуру мінікомп'ютера Unix і використав технологію GemFire для трансформації її в архітектуру кластера серверів Linux/X86, що означає, що вона охоплює три покоління. Від малих комп'ютерів до кластерів серверів X86 з великою пам'яттю — це не лише покращує продуктивність у рази, а й коштує значно нижче.
GemFire є частиною корпоративної платформи PaaS для великих даних від Pivotal. Корпоративна платформа PaaS Pivotal для великих даних має три основні рівні: Cloud Fabric, Big Data Infrastructure Layer та Application Fabric. GemFire належить до рівня інфраструктури великих даних, а крім того, база даних Greenplum також належить до цього рівня; Технологія шару хмарної інфраструктури — Cloud Foundry; Технології для рівня інфраструктури розробки додатків — це Spring Framework і RabbitMQ, серед інших.
Щодо трансформації впровадження технології GemFire, Чжу Цзяньшен, заступник директора Інституту електронних обчислювальних технологій Китайської академії залізничних наук, сказав: «Завдяки технологічній трансформації ми вирішили проблему пікового високого паралельного руху, яка давно нас турбує, щоб люди всієї країни більше не скаржилися з технічних причин, і ми нарешті відчули полегшення.» Технологія розподілених кластерних даних у пам'яті Pivotal GemFire відіграла ключову роль у всій трансформації технологій. Водночас, завдяки зусиллям Pivotal та її проєктної команди щодо забезпечення безперебійної роботи старої системи та плавного переходу від старої системи до нової під час технічного розвитку та трансформації, нова система була швидко запущена. ”
|
Попередній:12306 Було розкрито велику кількість паролів користувачів, а також адресу завантаження бази даних 12306Наступний:Велика кількість даних користувачів 12306 стала вірусною в Інтернеті, включно з номерами облікових записів, паролями від відкритого тексту, ID-картками, електронною поштою тощо
|
Опубліковано 25.12.2014 19:57:14
|
