|
|
Diposting pada 25/12/2014 16.18.52
|
|
|
|
Latar belakang dan kebutuhan
Situs web Pusat Layanan Pelanggan Kereta Api China (www.1230**) adalah salah satu sistem perdagangan real-time terbesar di dunia, sebanding dengan Amazon.com, dan situs web berada di bawah tekanan besar selama liburan, terutama selama Festival Musim Semi. Menurut statistik, selama puncak Festival Musim Semi pada awal 2012, 20 juta orang mengunjungi situs web setiap hari, dengan maksimum 1,4 miliar kunjungan harian. Sejumlah besar akses jaringan simultan menyebabkan 12306 hampir lumpuh. Institut Teknologi Komputasi Elektronik dari Akademi Ilmu Perkeretaapian China, sebagai kontraktor sistem tiket Internet 12306, sangat perlu menemukan cara untuk memecahkan masalah tersebut.
Resolusi berhasil: lebih dari 75 kali lebih cepat
Sejak Maret 2012, Railway Corporation (sebelumnya Kementerian Perkeretaapian) telah mulai menyelidiki dan merenovasi 12306. Pada bulan Juni 2012, platform komputasi dalam memori terdistribusi Pivotal GemFire (Komputasi Dalam memori Terdistribusi) dipilih untuk mengubah 12306, yang disediakan oleh Wang Mingzhe, kepala tim proyek Akademi Ilmu Besi, dan IISI Information Technology Co., Ltd. di bawah kepemimpinan Zhu Jiansheng, direktur Akademi Ilmu Perkeretaapian.Fase pertama pertama-tama akan mengubah kemacetan utama 12306 - sistem kueri tiket yang tersisa。 Pada bulan September, transformasi kode selesai dan sistem diluncurkan. Pada Hari Nasional tahun 2012, selama periode puncak pemesanan online, Anda dapat secara signifikan menemukan bahwa Anda dapat masuk ke 12306, meskipun masih sulit untuk memesan tiket, tetapi tiket yang tersisa sangat cepat. Pada bulan Oktober 2012,Fase kedua adalah mengubah sistem pertanyaan pesanan dengan GemFire (pelanggan menanyakan catatan pesanan mereka sendiri)。 Selama Festival Musim Semi 2013, ini adalah periode puncak pemesanan online, dan Anda dapat secara signifikan menemukan bahwa Anda dapat masuk ke 12306, meskipun masih sulit untuk memesan tiket, tetapi kueri tiket yang tersisa sangat cepat, dan kueri pemesanan dan pesanan Anda sendiri juga sangat cepat.
Menurut catatan data operasi sistem, setelah transformasi teknis,Dengan penggunaan hanya 10 server X86, perhitungan tiket yang tersisa dan kemampuan kueri dari lusinan komputer kecil telah direalisasikan, dan waktu maksimum satu kueri telah dikurangi dari sekitar 15 detik menjadi kurang dari 0,2 detik, yang telah dipersingkat lebih dari 75 kali。 Dalam kasus konkurensi lalu lintas yang sangat tinggi selama Festival Musim Semi 2012, sistem ini hampir lumpuh. Setelah transformasi,Ini mendukung puluhan ribu kueri bersamaan per detik, mencapai throughput 26.000 kueri per detik selama periode puncak, efisiensi seluruh sistem meningkat secara signifikan. Seperti yang ditunjukkan pada gambar di atas.
Dalam mode operasi sistem sebelum transformasi, sistem kueri pesanan hanya dapat mendukung throughput 300-400 kueri per detik, dan kueri bersamaan lalu lintas tinggi hanya dapat direalisasikan melalui pemisahan database. Setelah transformasi, throughput dapat mencapai puluhan ribu kueri per detik, dan kecepatan kueri dapat dijamin sekitar 20 milidetik.
Arsitektur teknologi baru dapat:Elastisitas penskalaan dinamis sesuai permintaanKetika jumlah konkurensi meningkat, Anda juga dapat meningkatkan server X86 secara dinamis untuk mempertahankan waktu respons tingkat milidetik.
Mencarinya dalam mimpi: revolusi teknologi menjangkau tiga generasi dalam satu langkah
12306 dapat mencapai efek yang mengguncang bumi, tidak mungkin mengandalkan perbaikan teknis kecil, dan harus ada ide baru yang dapat membawa pengaruh pada peningkatan kinerja. 12306 menemukan bahwa platform data dalam memori terdistribusi GemFire adalah salah satu teknologi tersebut.
Alasan teknis platform data dalam memori terdistribusi GemFireSeperti yang ditunjukkan pada gambar di atas: Melalui teknologi virtualisasi platform komputasi awan, memori beberapa server X86 terpusat untuk membentuk kumpulan sumber daya memori hingga puluhan terabyte, dan semua data dimuat ke dalam memori untuk perhitungan dalam memori. Proses komputasi itu sendiri tidak perlu membaca dan menulis ke disk, tetapi hanya menulis data secara berkala ke disk secara sinkron atau asinkron. GemFire menyimpan beberapa salinan data dalam klaster terdistribusi, dan jika ada mesin yang gagal, ada cadangan di mesin lain, jadi biasanya tidak perlu khawatir kehilangan data, dan ada data disk sebagai cadangan. GemFire mendukung data dalam memori yang persisten ke dalam berbagai database relasional tradisional, pustaka Hadoop, dan sistem file lainnya.
Seperti yang kita semua tahu, kemacetan arsitektur komputasi saat ini adalah penyimpanan, kecepatan prosesor berlipat ganda sesuai dengan Hukum Moore, dan kecepatan penyimpanan disk tumbuh sangat lambat, menghasilkan celah besar hingga 100.000 kali (seperti yang ditunjukkan pada gambar di atas). Ini memudahkan untuk memahami mengapa GemFire dapat sangat meningkatkan kinerja sistem.
Menurut hubungan antara komputasi dan penyimpanan, kita dapat membagi arsitektur komputasi menjadi empat generasi:
Generasi pertama, sistem berbasis disk tunggal: Data perlu dibaca dari disk selama perhitungan. Komputer kecil dan mainframe termasuk di antara pemimpin, mencapai kinerja tertinggi dari satu sistem.
Generasi kedua, sistem pengelompokan terdistribusi berdasarkan disk: Selama proses perhitungan, data perlu dibaca dari disk, tetapi data didistribusikan ke berbagai disk server melalui sistem distribusi untuk meningkatkan daya pemrosesan seluruh sistem. Saat ini, banyak perusahaan Internet dan e-commerce besar menggunakan sistem pengelompokan terdistribusi berdasarkan server X86, mengandalkan penyebaran server X86 besar-besaran untuk memecahkan masalah konkurensi lalu lintas yang tinggi.
Generasi ketiga, sistem berbasis memori tunggal: Menempatkan seluruh database dalam memori, dan proses perhitungan tidak memerlukan membaca data dari disk. Kinerja seluruh sistem tergantung pada kinerja satu sistem. Basis data dalam memori tradisional adalah sistem semacam itu, yang dapat memecahkan masalah kecepatan akses dengan baik untuk aplikasi tingkat perusahaan, tetapi tidak dapat berbuat apa-apa tentang masalah skalabilitas data besar atau akses bersamaan yang masif.
Generasi keempat adalah sistem pengelompokan terdistribusi berbasis memori: GemFire adalah sistem seperti itu, komputasi paralel adalah salah satu teknologi utamanya, sehingga dapat menskalakan kinerja secara linier berdasarkan komputasi dalam memori dengan meningkatkan skala penyebaran server.
12306 sebelumnya mengadopsi arsitektur komputer mini Unix dan menggunakan teknologi GemFire untuk mengubahnya menjadi arsitektur cluster server Linux/X86, yang berarti mencakup tiga generasi. Dari komputer kecil hingga kluster server X86 memori besar, tidak hanya meningkatkan kinerja dengan urutan besarnya, tetapi juga biaya yang jauh lebih rendah.
GemFire adalah bagian dari platform PaaS data besar tingkat perusahaan Pivotal. Platform PaaS big data tingkat perusahaan Pivotal memiliki tiga tingkat utama: Cloud Fabric, Big Data Infrastructure Layer, dan Application Fabric. GemFire termasuk dalam lapisan infrastruktur data besar, dan selain itu, database Greenplum juga termasuk dalam lapisan ini; Teknologi lapisan infrastruktur cloud adalah Cloud Foundry; Teknologi untuk lapisan infrastruktur pengembangan aplikasi antara lain adalah Spring Framework dan RabbitMQ.
Mengenai transformasi pengenalan teknologi GemFire, Zhu Jiansheng, wakil direktur Institut Teknologi Komputasi Elektronik Akademi Ilmu Perkeretaapian China, mengatakan: "Melalui transformasi teknologi, kami telah memecahkan masalah konkurensi lalu lintas tinggi puncak yang telah mengganggu kami sejak lama, sehingga orang-orang di seluruh negeri tidak lagi mengeluh karena alasan teknis, dan kami akhirnya lega." Teknologi data dalam memori cluster terdistribusi GemFire yang penting telah memainkan peran kunci dalam seluruh transformasi teknologi. Pada saat yang sama, berkat upaya Pivotal dan tim proyeknya untuk memastikan kelancaran pengoperasian sistem lama dan kelancaran migrasi dari sistem lama ke sistem baru selama proses pengembangan dan transformasi teknis, sistem baru dengan cepat diluncurkan. ”
|
Mantan:12306 Sejumlah besar kata sandi pengguna bocor, dan alamat unduhan database 12306 bocorDepan:Sejumlah besar 12306 data pengguna menjadi viral di Internet, termasuk nomor akun pengguna, kata sandi teks biasa, kartu identitas, email, dll
|
Diposting pada 25/12/2014 19.57.14
|
