Τι είναι το hadoop;
(1) Το Hadoop είναι ένα πλαίσιο ανοιχτού κώδικα για τη σύνταξη και την εκτέλεση κατανεμημένων εφαρμογών για την επεξεργασία δεδομένων μεγάλης κλίμακας, σχεδιασμένο για ανάλυση δεδομένων εκτός σύνδεσης και μεγάλης κλίμακας και δεν είναι κατάλληλο για το διαδικτυακό μοντέλο επεξεργασίας συναλλαγών τυχαίων αναγνώσεων και εγγραφών σε πολλές εγγραφές. Hadoop = HDFS (σύστημα αρχείων, σχετική τεχνολογία αποθήκευσης δεδομένων) + Mapreduce (επεξεργασία δεδομένων), η πηγή δεδομένων του Hadoop μπορεί να είναι σε οποιαδήποτε μορφή, έχει καλύτερη απόδοση από τις σχεσιακές βάσεις δεδομένων στην επεξεργασία ημιδομημένων και μη δομημένων δεδομένων και έχει πιο ευέλικτες δυνατότητες επεξεργασίας, ανεξάρτητα από το αν οποιαδήποτε φόρμα δεδομένων θα μετατραπεί τελικά σε κλειδί/τιμή, το κλειδί/τιμή είναι η βασική μονάδα δεδομένων. Χρησιμοποιήστε λειτουργικές εκφράσεις για να αντικαταστήσετε την SQL με το Mapreduce, η SQL είναι μια δήλωση ερωτήματος και το Mapreduce χρησιμοποιεί σενάρια και κώδικα, ενώ για σχεσιακές βάσεις δεδομένων, το Hadoop, το οποίο είναι συνηθισμένο στην SQL, διαθέτει μια ομάδα εργαλείων ανοιχτού κώδικα.
(2) Το Hadoop είναι μια κατανεμημένη υπολογιστική λύση.
Τι μπορεί να κάνει το hadoop;
Το 2009, το 30% των μη προγραμματιστών στο Facebook χρησιμοποίησαν το HiveQL για ανάλυση δεδομένων. Το Hive χρησιμοποιείται επίσης για προσαρμοσμένα φίλτρα στην αναζήτηση Taobao. Το Pig μπορεί επίσης να χρησιμοποιηθεί για προηγμένη επεξεργασία δεδομένων, συμπεριλαμβανομένου του Twitter και του LinkedIn για να ανακαλύψετε άτομα που ίσως γνωρίζετε και μπορεί να επιτύχει εφέ σύστασης συνεργατικού φιλτραρίσματος που μοιάζουν με Amazon.com. Συνιστώνται επίσης οι συστάσεις προϊόντων της Taobao! Στο Yahoo! Το 40% των εργασιών Hadoop εκτελούνται με γουρούνι, συμπεριλαμβανομένης της αναγνώρισης και του φιλτραρίσματος ανεπιθύμητων μηνυμάτων, καθώς και της μοντελοποίησης υπογραφής χρήστη. (Νέα ενημέρωση στις 25 Αυγούστου 2012, το σύστημα συστάσεων του Tmall είναι κυψέλη, δοκιμάστε το mahout σε μικρές ποσότητες!) ）
Η τελευταία έκδοση της διεύθυνσης λήψης hadoop: http://hadoop.apache.org/releases.html
Δημιουργήστε και εγκαταστήστε το Hadoop 2.x ή νεότερη έκδοση στα Windows, σύνδεσμος: https://wiki.apache.org/hadoop/Hadoop2OnWindows
1. Εισαγωγή
Το Hadoop έκδοση 2.2 και νεότερη περιλαμβάνει εγγενή υποστήριξη για Windows. Η επίσημη έκδοση του Apache Hadoop δεν περιλαμβάνει δυαδικά αρχεία των Windows (από τον Ιανουάριο του 2014). Ωστόσο, η δημιουργία ενός πακέτου Windows από την πηγή είναι αρκετά απλή.
Το Hadoop είναι ένα πολύπλοκο σύστημα με πολλά στοιχεία. Είναι χρήσιμο να κάνετε κάποια εξοικείωση πριν επιχειρήσετε να δημιουργήσετε ή να εγκαταστήσετε ή σε υψηλό επίπεδο για πρώτη φορά. Εάν χρειάζεστε αντιμετώπιση προβλημάτων, πρέπει να είστε εξοικειωμένοι με την Java.
Οι προγραμματιστές του Hadoop χρησιμοποίησαν τον Windows Server 2008 και τον Windows Server 2008 R2 κατά την ανάπτυξη και τη δοκιμή。 Τα Windows Vista και τα Windows 7 ενδέχεται επίσης να λειτουργούν λόγω της ομοιότητας του Win32 API με το αντίστοιχο SKU διακομιστή. Δεν το έχουμε δοκιμάσει σε Windows XP ή σε οποιαδήποτε παλαιότερη έκδοση των Windows, κάτι που είναι απίθανο. Τυχόν προβλήματα που αναφέρονται στα Windows XP ή σε παλαιότερες εκδόσεις θα θεωρούνται άκυρα.
Μην προσπαθήσετε να εκτελέσετε την εγκατάσταση στο Cygwin. Ο Cygwin ούτε το ζητά ούτε το υποστηρίζει.
|
Δημοσιεύτηκε στις 8/12/2017 1:33:48 μ.μ.
|
|
|
