|
|
Yayınlandı 25.12.2014 16:18:52
|
|
|
|
Arka plan ve ihtiyaçlar
Çin Demiryolu Müşteri Hizmetleri Merkezi web sitesi (www.1230**) dünyanın en büyük gerçek zamanlı ticaret sistemlerinden biridir ve Amazon.com ile karşılaştırılabilir ve web sitesi özellikle Bahar Festivali sırasında tatillerde büyük bir baskı altındadır. İstatistiklere göre, 2012 başlarındaki Bahar Festivali'nin zirvesi sırasında her gün 20 milyon kişi siteyi ziyaret etti ve günlük maksimum 1,4 milyar ziyaret gerçekleşti. Çok sayıda eşzamanlı ağ erişimi 12306'nın neredeyse felç olmasına neden oldu. Çin Demiryolu Bilimleri Akademisi'nin Elektronik Hesaplama Teknolojisi Enstitüsü, 12306 İnternet bilet sisteminin yüklenicisi olarak, sorunu acilen çözmenin bir yolunu bulmalı.
Başarılı çözüm: 75 kattan fazla daha hızlı
Mart 2012'den itibaren, Demiryolu Kurumu (eski adıyla Demiryolları Bakanlığı) 12306 numaralı treni araştırmaya ve yenilemeye başlamıştır. Haziran 2012'de, Pivotal GemFire dağıtık bellek içi hesaplama platformu (Dağıtık Bellek İçi hesaplama) 12306'yı dönüştürmek için seçildi; bu platform, Demir Bilimleri Akademisi proje ekibinin başkanı Wang Mingzhe ve IISI Information Technology Co., Ltd. tarafından sağlandı; bu platform, Demiryolu Bilimleri Akademisi direktörü Zhu Jiansheng liderliğinde.İlk aşama, 12306'nın ana darboğazını - kalan bilet sorgulama sistemini dönüştürecek。 Eylül ayında kod dönüşümü tamamlandı ve sistem piyasaya sürüldü. 2012 Ulusal Günü'nde, çevrimiçi rezervasyonun yoğun döneminde, 12306 numarasına giriş yapabilmeyi önemli ölçüde görebilirsiniz; bilet rezervasyonu hâlâ zor olsa da, kalan biletler çok hızlı. Ekim 2012'de,İkinci aşama, sipariş sorgulama sistemini GemFire ile dönüştürmektir (müşteriler kendi sipariş kayıtlarını sorgular)。 2013 Bahar Festivali sırasında, çevrimiçi rezervasyonun en yoğun dönemidir ve 12306'ya giriş yapabilmeyi önemli ölçüde görebilirsiniz; bilet rezervasyonu hâlâ zor olsa da, kalan biletlerin sorgusu çok hızlı ve kendi rezervasyon ve siparişinizin sorgulanması da çok hızlı.
Sistem işletim veri kaydına göre, teknik dönüşümden sonra,Sadece 10 X86 sunucusu kullanılarak, onlarca küçük bilgisayarın kalan bilet hesaplama ve sorgulama yetenekleri gerçekleştirildi ve tek bir sorgu için maksimum süre yaklaşık 15 saniyeden 0,2 saniyeden daha az hale getirildi; bu süre 75 katından fazla kısaltıldı。 2012 Bahar Festivali sırasında aşırı yoğun trafik eşzamanlı olduğunda, sistem neredeyse felç oldu. Dönüşümden sonra,Saniyede on binlerce eşzamanlı sorguyu destekler ve yoğun dönemlerde saniyede 26.000 sorgu verimliliğine ulaşır, tüm sistemin verimliliği önemli ölçüde artırıldı. Yukarıdaki görselde gösterildiği gibi.
Dönüşümden önceki sistem işlem modunda, sırayla sorgulama sistemi saniyede yalnızca 300-400 sorgu verimliliği destekleyebilir ve yüksek trafikli eşzamanlı sorgular yalnızca veritabanı bölünmesiyle gerçekleştirilebilir. Dönüşümden sonra, veri aktarım hızı saniyede on binlerce sorguya kadar çıkabilir ve sorgu hızı yaklaşık 20 milisaniye olarak garanti edilebilir.
Yeni teknoloji mimarisi:Talep esnekliğine göre dinamik ölçeklendirmeEşdelik miktarı arttığında, X86 sunucusunu dinamik olarak artırarak milisaniye seviyesinde yanıt süresini koruyabilirsiniz.
Rüyada arıyorum: teknolojik devrim, üç nesli bir adımda kapsar
12306 böyle sarsıcı etkiler yaratabilir, küçük teknik onarımlara güvenmek imkansız ve performans iyileştirmesine güç katabilecek yeni bir fikir olmalı. 12306, GemFire dağıtık bellek içi veri platformunun bu teknolojilerden biri olduğunu keşfetti.
GemFire dağıtık bellek içi veri platformunun teknik gerekçesiYukarıdaki şekilde gösterildiği gibi: Bulut bilişim platformunun sanallaştırma teknolojisi sayesinde, birkaç X86 sunucusunun belleği merkezileştirilerek onlarca terabayta kadar bir bellek kaynak havuzu oluşturulur ve tüm veriler bellek içi hesaplama için belleğe yüklenir. Hesaplama sürecinin kendisi diske okuma ve yazma gerekmez, sadece periyodik olarak verileri diske senkron veya asenkron olarak yazar. GemFire, dağıtık bir kümede birden fazla veri kopyasını saklar ve herhangi bir makine arızalanırsa, diğer makinelerde yedekler olur, bu yüzden genellikle veri kaybı konusunda endişelenmeye gerek yoktur ve disk veri yedek olarak kullanılır. GemFire, çeşitli geleneksel ilişkisel veritabanları, Hadoop kütüphaneleri ve diğer dosya sistemlerine bellek içi verilerin kalıcı olarak taşınmasını destekler.
Hepimizin bildiği gibi, mevcut hesaplama mimarisinin darboğazı depolamadır, işlemci hızı Moore Yasası'na göre iki katına çıkar ve disk depolama hızı çok yavaş artar, bu da yukarıdaki şekilde gösterildiği gibi 100.000 kata kadar büyük bir boşluk yaratır. Bu, GemFire'ın sistem performansını neden büyük ölçüde geliştirebileceğini anlamayı kolaylaştırır.
Hesaplama ile depolama arasındaki ilişkiye göre, hesaplama mimarisini dört nesile ayırabiliriz:
İlk nesil, tek disk tabanlı bir sistem: Hesaplamalar sırasında verilerin diskten okunması gerekir. Küçük bilgisayarlar ve ana bilgisayarlar liderler arasında yer almakta ve tek bir sistemin nihai performansını elde etmekte.
İkinci nesil, disklere dayalı dağıtık kümeleme sistemi: Hesaplama sürecinde veri diskten okunmalıdır, ancak veriler farklı sunucu diskleri arasında dağıtım sistemi aracılığıyla dağıtılır ve böylece tüm sistemin işlem gücü artırılır. Şu anda, birçok büyük internet ve e-ticaret şirketi, yüksek trafik uyum sorununu çözmek için büyük X86 sunucu dağıtımına dayanarak X86 sunucularına dayalı dağıtık kümeleme sistemleri kullanmaktadır.
Üçüncü nesil, tek belleğe dayalı bir sistem: Tüm veritabanını belleğe yerleştirir ve hesaplama süreci diskten veri okumayı gerektirmez. Tüm sistemin performansı, tek bir sistemin performansına bağlıdır. Geleneksel bellek içi veritabanları, kurumsal düzeyde uygulamalar için erişim hızı sorununu iyi çözebilen, ancak büyük veri veya eşzamanlı erişim gibi ölçeklenebilirlik sorununu çözemeyen bu tür sistemlerdir.
Dördüncü nesil, bellek tabanlı dağıtık kümeleme sistemidir: GemFire böyle bir sistemdir, paralel hesaplama onun ana teknolojilerinden biridir, bu yüzden sunucu dağıtımının ölçeğini artırarak bellek içi hesaplama temelinde performansı doğrusal olarak ölçekleyebilir.
12306, daha önce Unix minibilgisayar mimarisini benimsemiş ve GemFire teknolojisini kullanarak onu Linux/X86 sunucu kümesi mimarisine dönüştürmüştür; bu da üç nesli kapsadığı anlamına gelir. Küçük bilgisayarlardan büyük belleğe sahip X86 sunucu kümelerine kadar, performans kat kat artmakla kalmaz, aynı zamanda maliyeti çok daha düşüktür.
GemFire, Pivotal'ın kurumsal seviyedeki büyük veri PaaS platformunun bir parçasıdır. Pivotal'ın kurumsal düzeyde büyük veri PaaS platformu üç ana seviyeye sahiptir: Bulut Dokusu, Büyük Veri Altyapı Katmanı ve Uygulama Yapısı. GemFire büyük veri altyapısı katmanına aittir ve ayrıca Greenplum veritabanı da bu katmana aittir; Bulut altyapı katmanının teknolojisi Cloud Foundry'dir; Uygulama geliştirme altyapısı katmanı için teknolojiler arasında Spring Framework ve RabbitMQ gibi teknolojiler bulunmaktadır.
GemFire teknolojisinin tanıtımının dönüşümü ile ilgili olarak, Çin Demiryolu Bilimleri Akademisi Elektronik Hesaplama Teknolojisi Enstitüsü müdür yardımcısı Zhu Jiansheng şöyle dedi: "Teknolojik dönüşüm sayesinde, uzun süredir bizi rahatsız eden yoğun trafik eşzamanlılığı sorununu çözdük, böylece ülke halkı teknik nedenlerle şikayet etmiyor ve nihayet rahatlıyoruz." GemFire'ın dağıtık küme bellek içi veri teknolojisi, tüm teknoloji dönüşümünde kilit bir rol oynamıştır. Aynı zamanda, Pivotal ve proje ekibinin eski sistemin sorunsuz çalışmasını ve teknik geliştirme ile dönüşüm sürecinde eski sistemden yeni sisteme sorunsuz geçişi sağlama çabaları sayesinde, yeni sistem hızla piyasaya sürüldü. ”
|
Önceki:12306 Çok sayıda kullanıcı şifresi sızdırıldı ve 12306 veritabanı indirme adresi sızdırıldıÖnümüzdeki:İnternette kullanıcı hesap numaraları, açık metin şifreleri, kimlik kartları, e-postalar gibi çok sayıda 12306 kullanıcı verisi viral oldu
|
Yayınlandı 25.12.2014 19:57:14
|
