|
|
Δημοσιεύτηκε στις 25/12/2014 4:18:52 μ.μ.
|
|
|
|
Ιστορικό και ανάγκες
Ιστότοπος του Κέντρου Εξυπηρέτησης Πελατών των Σιδηροδρόμων της Κίνας (www.1230 (στα Αγγλικά)) είναι ένα από τα μεγαλύτερα συστήματα συναλλαγών σε πραγματικό χρόνο στον κόσμο, συγκρίσιμο με το Amazon.com, και ο ιστότοπος βρίσκεται υπό μεγάλη πίεση κατά τη διάρκεια των διακοπών, ειδικά κατά τη διάρκεια του Φεστιβάλ της Άνοιξης. Σύμφωνα με στατιστικά στοιχεία, κατά τη διάρκεια της κορύφωσης του Φεστιβάλ της Άνοιξης στις αρχές του 2012, 20 εκατομμύρια άνθρωποι επισκέπτονταν τον ιστότοπο κάθε μέρα, με μέγιστο 1,4 δισεκατομμύρια ημερήσιες επισκέψεις. Ένας μεγάλος αριθμός ταυτόχρονων προσβάσεων στο δίκτυο προκάλεσε σχεδόν παράλυση του 12306. Το Ινστιτούτο Τεχνολογίας Ηλεκτρονικών Υπολογιστών της Κινεζικής Ακαδημίας Επιστημών Σιδηροδρόμων, ως ανάδοχος του συστήματος έκδοσης εισιτηρίων Διαδικτύου 12306, πρέπει επειγόντως να βρει έναν τρόπο επίλυσης του προβλήματος.
Επιτυχής επίλυση: περισσότερο από 75 φορές πιο γρήγορα
Από τον Μάρτιο του 2012, η Εταιρεία Σιδηροδρόμων (πρώην Υπουργείο Σιδηροδρόμων) άρχισε να ερευνά και να ανακαινίζει το 12306. Τον Ιούνιο του 2012, η πλατφόρμα υπολογιστών κατανεμημένης μνήμης Pivotal GemFire (Distributed In-memory computing) επιλέχθηκε για να μεταμορφώσει το 12306, το οποίο παρασχέθηκε από τον Wang Mingzhe, επικεφαλής της ομάδας έργου της Ακαδημίας Επιστημών Σιδήρου, και την IISI Information Technology Co., Ltd. υπό την ηγεσία του Zhu Jiansheng, διευθυντή της Ακαδημίας Επιστημών Σιδηροδρόμων.Η πρώτη φάση θα μεταμορφώσει πρώτα το κύριο σημείο συμφόρησης του 12306 - το υπόλοιπο σύστημα ερωτημάτων εισιτηρίων。 Τον Σεπτέμβριο ολοκληρώθηκε ο μετασχηματισμός του κώδικα και ξεκίνησε το σύστημα. Την Εθνική Ημέρα του 2012, κατά την περίοδο αιχμής των online κρατήσεων, μπορείτε να διαπιστώσετε σημαντικά ότι μπορείτε να συνδεθείτε στο 12306, αν και εξακολουθεί να είναι δύσκολο να κλείσετε εισιτήρια, αλλά τα υπόλοιπα εισιτήρια είναι πολύ γρήγορα. Τον Οκτώβριο του 2012,Η δεύτερη φάση είναι ο μετασχηματισμός του συστήματος αναζήτησης παραγγελιών με το GemFire (οι πελάτες ρωτούν τα δικά τους αρχεία παραγγελιών)。 Κατά τη διάρκεια του Εαρινού Φεστιβάλ του 2013, είναι η περίοδος αιχμής των online κρατήσεων και μπορείτε να διαπιστώσετε σημαντικά ότι μπορείτε να συνδεθείτε στο 12306, αν και εξακολουθεί να είναι δύσκολο να κλείσετε εισιτήρια, αλλά το ερώτημα των υπολοίπων εισιτηρίων είναι πολύ γρήγορο και το ερώτημα της δικής σας κράτησης και παραγγελίας είναι επίσης πολύ γρήγορο.
Σύμφωνα με το αρχείο δεδομένων λειτουργίας του συστήματος, μετά τον τεχνικό μετασχηματισμό,Με τη χρήση μόνο 10 διακομιστών X86, έχουν πραγματοποιηθεί οι υπόλοιπες δυνατότητες υπολογισμού εισιτηρίων και ερωτημάτων δεκάδων μικρών υπολογιστών και ο μέγιστος χρόνος ενός μεμονωμένου ερωτήματος έχει μειωθεί από περίπου 15 δευτερόλεπτα σε λιγότερο από 0,2 δευτερόλεπτα, ο οποίος έχει μειωθεί περισσότερο από 75 φορές。 Στην περίπτωση εξαιρετικά υψηλής ταυτόχρονης κυκλοφορίας κατά τη διάρκεια του Εαρινού Φεστιβάλ του 2012, το σύστημα ήταν σχεδόν παράλυτο. Μετά τον μετασχηματισμό,Υποστηρίζει δεκάδες χιλιάδες ταυτόχρονα ερωτήματα ανά δευτερόλεπτο, φτάνοντας σε απόδοση 26,000 ερωτημάτων ανά δευτερόλεπτο κατά τις περιόδους αιχμής, η απόδοση ολόκληρου του συστήματος βελτιώνεται σημαντικά. Όπως φαίνεται στην παραπάνω εικόνα.
Στον τρόπο λειτουργίας του συστήματος πριν από τον μετασχηματισμό, το σύστημα ερωτημάτων παραγγελιών μπορεί να υποστηρίξει μόνο μια απόδοση 300-400 ερωτημάτων ανά δευτερόλεπτο και τα ταυτόχρονα ερωτήματα υψηλής επισκεψιμότητας μπορούν να πραγματοποιηθούν μόνο μέσω διαχωρισμού βάσης δεδομένων. Μετά τον μετασχηματισμό, η ταχύτητα μετάδοσης μπορεί να είναι έως και δεκάδες χιλιάδες ερωτήματα ανά δευτερόλεπτο και η ταχύτητα του ερωτήματος μπορεί να είναι εγγυημένη ότι είναι περίπου 20 χιλιοστά του δευτερολέπτου.
Η νέα τεχνολογική αρχιτεκτονική μπορεί:Ελαστικότητα δυναμικής κλιμάκωσης κατά παραγγελίαΌταν αυξάνεται ο χρόνος ταυτοχρονισμού, μπορείτε επίσης να αυξήσετε δυναμικά τον διακομιστή X86 για να διατηρήσετε έναν χρόνο απόκρισης σε επίπεδο χιλιοστού του δευτερολέπτου.
Αναζητώντας το σε ένα όνειρο: η τεχνολογική επανάσταση εκτείνεται σε τρεις γενιές σε ένα βήμα
Το 12306 μπορεί να επιτύχει τέτοια συγκλονιστικά αποτελέσματα, είναι αδύνατο να βασιστείτε σε μικρές τεχνικές επισκευές και πρέπει να υπάρξει μια νέα ιδέα που μπορεί να προσφέρει μόχλευση στη βελτίωση της απόδοσης. Το 12306 ανακάλυψε ότι η πλατφόρμα κατανεμημένων δεδομένων στη μνήμη GemFire είναι μια τέτοια τεχνολογία.
Τεχνικό σκεπτικό της πλατφόρμας κατανεμημένων δεδομένων στη μνήμη GemFireΌπως φαίνεται στο παραπάνω σχήμα: Μέσω της τεχνολογίας εικονικοποίησης της πλατφόρμας υπολογιστικού νέφους, η μνήμη πολλών διακομιστών X86 συγκεντρώνεται για να σχηματίσει μια δεξαμενή πόρων μνήμης έως και δεκάδων terabyte και όλα τα δεδομένα φορτώνονται στη μνήμη για υπολογισμό στη μνήμη. Η ίδια η διαδικασία υπολογισμού δεν χρειάζεται να διαβάζει και να γράφει στο δίσκο, αλλά μόνο περιοδικά γράφει δεδομένα στο δίσκο συγχρονισμένα ή ασύγχρονα. Το GemFire αποθηκεύει πολλαπλά αντίγραφα δεδομένων σε ένα κατανεμημένο σύμπλεγμα και εάν κάποιο μηχάνημα αποτύχει, υπάρχουν αντίγραφα ασφαλείας σε άλλα μηχανήματα, επομένως συνήθως δεν χρειάζεται να ανησυχείτε για απώλεια δεδομένων και υπάρχουν δεδομένα δίσκου ως αντίγραφο ασφαλείας. Το GemFire υποστηρίζει τη διατήρηση δεδομένων στη μνήμη σε μια ποικιλία παραδοσιακών σχεσιακών βάσεων δεδομένων, βιβλιοθηκών Hadoop και άλλων συστημάτων αρχείων.
Όπως όλοι γνωρίζουμε, το σημείο συμφόρησης της τρέχουσας αρχιτεκτονικής υπολογιστών είναι η αποθήκευση, η ταχύτητα του επεξεργαστή διπλασιάζεται σύμφωνα με το νόμο του Moore και η ταχύτητα αποθήκευσης δίσκου αυξάνεται πολύ αργά, με αποτέλεσμα ένα τεράστιο κενό έως και 100.000 φορές (όπως φαίνεται στο παραπάνω σχήμα). Αυτό καθιστά εύκολο να κατανοήσουμε γιατί το GemFire μπορεί να βελτιώσει σημαντικά την απόδοση του συστήματος.
Σύμφωνα με τη σχέση μεταξύ υπολογιστών και αποθήκευσης, μπορούμε να χωρίσουμε την αρχιτεκτονική υπολογιστών σε τέσσερις γενιές:
Η πρώτη γενιά, ένα σύστημα που βασίζεται σε έναν δίσκο: Τα δεδομένα πρέπει να διαβάζονται από το δίσκο κατά τη διάρκεια των υπολογισμών. Οι μικροί υπολογιστές και οι κεντρικοί υπολογιστές είναι από τους ηγέτες, επιτυγχάνοντας την απόλυτη απόδοση ενός μόνο συστήματος.
Η δεύτερη γενιά, ένα κατανεμημένο σύστημα ομαδοποίησης που βασίζεται σε δίσκους: Κατά τη διαδικασία υπολογισμού, τα δεδομένα πρέπει να διαβαστούν από το δίσκο, αλλά τα δεδομένα διανέμονται σε διαφορετικούς δίσκους διακομιστή μέσω ενός συστήματος διανομής για τη βελτίωση της επεξεργαστικής ισχύος ολόκληρου του συστήματος. Επί του παρόντος, πολλές μεγάλες εταιρείες Διαδικτύου και ηλεκτρονικού εμπορίου χρησιμοποιούν κατανεμημένα συστήματα ομαδοποίησης που βασίζονται σε διακομιστές X86, βασιζόμενες στη μαζική ανάπτυξη διακομιστή X86 για την επίλυση του προβλήματος της ταυτόχρονης υψηλής επισκεψιμότητας.
Η τρίτη γενιά, ένα ενιαίο σύστημα που βασίζεται σε μνήμη: Τοποθετεί ολόκληρη τη βάση δεδομένων στη μνήμη και η διαδικασία υπολογισμού δεν απαιτεί ανάγνωση δεδομένων από το δίσκο. Η απόδοση ολόκληρου του συστήματος εξαρτάται από την απόδοση ενός μεμονωμένου συστήματος. Οι παραδοσιακές βάσεις δεδομένων στη μνήμη είναι τέτοια συστήματα, τα οποία μπορούν να λύσουν καλά το πρόβλημα της ταχύτητας πρόσβασης για εφαρμογές σε επίπεδο επιχείρησης, αλλά δεν μπορούν να κάνουν τίποτα για το πρόβλημα επεκτασιμότητας των μαζικών δεδομένων ή της μαζικής ταυτόχρονης πρόσβασης.
Η τέταρτη γενιά είναι ένα κατανεμημένο σύστημα ομαδοποίησης που βασίζεται στη μνήμη: Το GemFire είναι ένα τέτοιο σύστημα, ο παράλληλος υπολογισμός είναι μία από τις βασικές τεχνολογίες του, επομένως μπορεί να κλιμακώσει την απόδοση γραμμικά με βάση τον υπολογισμό στη μνήμη αυξάνοντας την κλίμακα ανάπτυξης διακομιστή.
Το 12306 υιοθέτησε προηγουμένως την αρχιτεκτονική μικροϋπολογιστή Unix και χρησιμοποίησε την τεχνολογία GemFire για να τη μετατρέψει σε αρχιτεκτονική συμπλέγματος διακομιστών Linux/X86, πράγμα που σημαίνει ότι εκτείνεται σε τρεις γενιές. Από μικρούς υπολογιστές έως συμπλέγματα διακομιστών X86 μεγάλης μνήμης, όχι μόνο βελτιώνει την απόδοση κατά μια τάξη μεγέθους, αλλά κοστίζει και πολύ χαμηλότερο.
Το GemFire είναι μέρος της πλατφόρμας μεγάλων δεδομένων PaaS της Pivotal. Η πλατφόρμα μεγάλων δεδομένων PaaS σε επίπεδο επιχείρησης της Pivotal έχει τρία κύρια επίπεδα: Cloud Fabric, Big Data Infrastructure Layer και Application Fabric. Το GemFire ανήκει στο επίπεδο υποδομής μεγάλων δεδομένων και επιπλέον, η βάση δεδομένων Greenplum ανήκει επίσης σε αυτό το επίπεδο. Η τεχνολογία του επιπέδου υποδομής cloud είναι το Cloud Foundry. Οι τεχνολογίες για το επίπεδο υποδομής ανάπτυξης εφαρμογών είναι μεταξύ άλλων το Spring Framework και το RabbitMQ.
Όσον αφορά τον μετασχηματισμό της εισαγωγής της τεχνολογίας GemFire, ο Zhu Jiansheng, αναπληρωτής διευθυντής του Ινστιτούτου Ηλεκτρονικής Τεχνολογίας Υπολογιστών της Κινεζικής Ακαδημίας Επιστημών Σιδηροδρόμων, δήλωσε: «Μέσω του τεχνολογικού μετασχηματισμού, λύσαμε το πρόβλημα της αιχμής της υψηλής κυκλοφορίας που μας ταλαιπωρεί εδώ και πολύ καιρό, έτσι ώστε οι άνθρωποι ολόκληρης της χώρας να μην παραπονιούνται πλέον για τεχνικούς λόγους και τελικά ανακουφιζόμαστε». Η κεντρική τεχνολογία δεδομένων κατανεμημένου συμπλέγματος στη μνήμη GemFire έχει διαδραματίσει βασικό ρόλο σε ολόκληρο τον τεχνολογικό μετασχηματισμό. Ταυτόχρονα, χάρη στις προσπάθειες της Pivotal και της ομάδας έργου της να διασφαλίσουν την ομαλή λειτουργία του παλιού συστήματος και την ομαλή μετάβαση από το παλιό σύστημα στο νέο σύστημα κατά τη διαδικασία τεχνικής ανάπτυξης και μετασχηματισμού, το νέο σύστημα κυκλοφόρησε γρήγορα. ”
|
Προηγούμενος:12306 Διέρρευσε μεγάλος αριθμός κωδικών πρόσβασης χρηστών και διέρρευσε η διεύθυνση λήψης της βάσης δεδομένων 12306Επόμενος:Ένας μεγάλος όγκος δεδομένων χρηστών 12306 έγινε viral στο Διαδίκτυο, συμπεριλαμβανομένων αριθμών λογαριασμών χρηστών, κωδικών πρόσβασης απλού κειμένου, ταυτοτήτων, email κ.λπ
|
Δημοσιεύτηκε στις 25/12/2014 7:57:14 μ.μ.
|
