|
|
Opublikowano 25.12.2014 16:18:52
|
|
|
|
Tło i potrzeby
Strona internetowa Centrum Obsługi Klienta Kolei Chińskich (www.1230**) jest jednym z największych na świecie systemów handlu w czasie rzeczywistym, porównywalnym z Amazon.com, a strona internetowa jest pod dużą presją podczas świąt, zwłaszcza podczas Święta Wiosny. Według statystyk, w szczytowym okresie Festiwalu Wiosny na początku 2012 roku, 20 milionów osób odwiedzało stronę codziennie, z maksymalnie 1,4 miliarda odsłon dziennie. Duża liczba jednoczesnych dostępu do sieci spowodowała niemal sparaliżowanie 12306. Instytut Technologii Elektronicznych Chińskiej Akademii Nauk Kolejowych, jako wykonawca systemu biletów internetowych 12306, pilnie musi znaleźć sposób na rozwiązanie tego problemu.
Skuteczne rozwiązanie: ponad 75 razy szybciej
Od marca 2012 roku Korporacja Kolejowa (dawniej Ministerstwo Kolei) rozpoczęła badania i remont lokomotywy 12306. W czerwcu 2012 roku wybrano platformę Pivotal GemFire do rozproszonego przetwarzania w pamięci (Distributed In-memory computing) do transformacji 12306, którą zapewnił Wang Mingzhe, szef zespołu projektowego Akademii Nauk Żelaznych, oraz IISI Information Technology Co., Ltd. pod kierownictwem Zhu Jianshenga, dyrektora Akademii Nauk Kolejowych.Pierwsza faza najpierw przekształci główne wąskie gardło 12306 – pozostały system zapytań o zgłoszenia。 We wrześniu zakończono transformację kodu i system został uruchomiony. W Narodowy Dzień 2012 roku, w okresie szczytu rezerwacji online, można znacznie zalogować się na 12306, choć nadal trudno jest zarezerwować bilety, ale pozostałe bilety są bardzo szybkie. W październiku 2012 roku,Drugi etap polega na przekształceniu systemu zapytań o zamówienia za pomocą GemFire (klienci sami zapytują swoje rejestry zamówień)。 Podczas Festiwalu Wiosny 2013 roku jest to szczytowy okres rezerwacji online, a można się znacznie zalogować na 12306, choć nadal trudno jest zarezerwować bilety, ale zapytanie o pozostałe bilety jest bardzo szybkie, a także szybkie zapytanie o własną rezerwację i zamówienie.
Zgodnie z rekordem danych operacyjnych systemu, po transformacji technicznej,Przy użyciu tylko 10 serwerów X86 zostały wykorzystane pozostałe możliwości obliczania i zapytań zgłoszeń dziesiątek małych komputerów, a maksymalny czas wykonania jednego zapytania został skrócony z około 15 sekund do mniej niż 0,2 sekundy, co skróciło się ponad 75 razy。 W przypadku bardzo dużego ruchu podczas Festiwalu Wiosny w 2012 roku system był niemal sparaliżowany. Po przemianie,Obsługuje dziesiątki tysięcy jednoczesnych zapytań na sekundę, osiągając przepustowość 26 000 zapytań na sekundę w okresach szczytu, efektywność całego systemu jest znacząco poprawiona. Jak pokazano na powyższym obrazku.
W trybie działania systemu przed transformacją system zapytań o kolejność może obsłużyć przepustowość tylko 300-400 zapytań na sekundę, a zapytania o dużym ruchu współbieżnym można realizować tylko poprzez podział bazy danych. Po transformacji przepustowość może wynosić nawet dziesiątki tysięcy zapytań na sekundę, a prędkość zapytań gwarantowana jest na około 20 milisekund.
Nowa architektura technologiczna może:Dynamiczne skalowanie na popyt elastycznośćGdy liczba współbieżności rośnie, możesz także dynamicznie zwiększyć serwer X86, aby utrzymać czas reakcji na poziomie milisekundy.
Szukając go we śnie: rewolucja technologiczna obejmuje trzy pokolenia w jednym kroku
12306 może osiągnąć tak wstrząsające efekty, że nie można polegać na drobnych naprawach technicznych, a musi istnieć nowy pomysł, który przyniesie efekt w poprawie wydajności. 12306 odkrył, że platforma GemFire do rozproszonych danych danych w pamięci jest jedną z takich technologii.
Uzasadnienie techniczne platformy GemFire do dystrybucji danych w pamięciJak pokazano na powyższym rysunku: Dzięki technologii wirtualizacji platformy chmurowej pamięć kilku serwerów X86 jest centralizowana, tworząc pulę zasobów pamięci o powierzchni do dziesiątek terabajtów, a wszystkie dane są ładowane do pamięci do obliczeń w pamięci. Sam proces obliczeń nie musi odczytywać i zapisywać na dysku, lecz jedynie okresowo zapisuje dane na dysku synchronicznie lub asynchronicznie. GemFire przechowuje wiele kopii danych w rozproszonym klastrze, a jeśli jakaś maszyna ulegnie awarii, na innych maszynach są kopie zapasowe, więc zwykle nie ma potrzeby martwić się o utratę danych, a dane z dysku są dostępne jako kopia zapasowa. GemFire obsługuje przechowywanie danych w pamięci do różnych tradycyjnych relacyjnych baz danych, bibliotek Hadoop i innych systemów plików.
Jak wszyscy wiemy, wąskim gardłem obecnej architektury obliczeniowej jest pamięć masowa, prędkość procesora podwaja się zgodnie z prawem Moore'a, a prędkość przechowywania na dysku rośnie bardzo powoli, co skutkuje ogromną przerwą sięgającą nawet 100 000 razy (jak pokazano na powyższym rysunku). To ułatwia zrozumienie, dlaczego GemFire może znacznie poprawić wydajność systemu.
Zgodnie z relacją między obliczeniami a przechowywaniem danych, możemy podzielić architekturę obliczeniową na cztery generacje:
Pierwsza generacja, system oparty na pojedynczym dysku: Dane muszą być odczytywane z dysku podczas obliczeń. Małe komputery i mainframe'y należą do liderów, osiągając maksymalną wydajność jednego systemu.
Druga generacja to rozproszony system klastrowania oparty na dyskach: Podczas procesu obliczeń dane muszą być odczytywane z dysku, ale są one rozdzielane na różne dyski serwerowe poprzez system dystrybucji, aby poprawić moc obliczeniową całego systemu. Obecnie wiele dużych firm internetowych i e-commerce korzysta z rozproszonych systemów klastrowania opartych na serwerach X86, opierając się na masowym wdrażaniu serwerów X86 do rozwiązania problemu dużej równocześności ruchu.
Trzecia generacja, system oparty na jednej pamięci: Umieszcza całą bazę danych w pamięci, a proces obliczeń nie wymaga odczytu danych z dysku. Wydajność całego systemu zależy od wydajności pojedynczego systemu. Tradycyjne bazy danych w pamięci to takie systemy, które mogą dobrze rozwiązać problem szybkości dostępu dla aplikacji korporacyjnych, ale nie mogą nic zrobić z problemem skalowalności ogromnych ilości danych lub masowego równoczesnego dostępu.
Czwarta generacja to system rozproszonego klastrowania oparty na pamięci: GemFire jest takim systemem, a przetwarzanie równoległe jest jedną z jego kluczowych technologii, dzięki czemu może skalować wydajność liniowo na podstawie obliczeń w pamięci poprzez zwiększenie skali wdrażania serwerów.
12306 wcześniej przyjęła architekturę minikomputerów Unix i wykorzystała technologię GemFire, aby przekształcić ją w architekturę klastrową serwerów Linux/X86, co oznacza, że obejmuje trzy generacje. Od małych komputerów po duże klastry serwerowe X86 – nie tylko poprawia wydajność o rząd wielkości, ale także kosztuje znacznie niżej.
GemFire jest częścią platformy Pivotal na poziomie korporacyjnym big data PaaS. Platforma Pivotal na poziomie korporacyjnym big data PaaS składa się z trzech głównych poziomów: Cloud Fabric, Big Data Infrastructure Layer oraz Application Fabric. GemFire należy do warstwy infrastruktury big data, a dodatkowo baza danych Greenplum również należy do tej warstwy; Technologią warstwy infrastruktury chmurowej jest Cloud Foundry; Technologie warstwy infrastruktury rozwoju aplikacji to między innymi Spring Framework i RabbitMQ.
Odnosząc się do transformacji wprowadzającej technologię GemFire, Zhu Jiansheng, zastępca dyrektora Instytutu Technologii Elektronicznych Chińskiej Akademii Nauk Kolejowych, powiedział: "Dzięki transformacji technologicznej rozwiązaliśmy problem szczytowego przebiegu ruchu, który od dawna nas dręczy, dzięki czemu ludzie w całym kraju przestali narzekać z powodów technicznych i wreszcie odczuwamy ulgę." Kluczowa technologia rozproszonych klastrów w pamięci Pivotal GemFire odegrała kluczową rolę w całej transformacji technologicznej. Jednocześnie, dzięki wysiłkom Pivotal i zespołu projektowego, które zapewniły płynne działanie starego systemu oraz płynną migrację ze starego systemu na nowy podczas procesu rozwoju technicznego i transformacji, nowy system został szybko wprowadzony na rynek. ”
|
Poprzedni:12306 Wyciekło wiele haseł użytkowników, a adres pobrania bazy 12306 został ujawnionyNastępny:Duża ilość danych użytkowników 12306 stała się viralem w Internecie, w tym numery kont użytkowników, hasła w formacie jawnym, karty tożsamości, e-maile itp
|
Opublikowano 25.12.2014 19:57:14
|
