Αυτό το άρθρο είναι ένα άρθρο καθρέφτη της αυτόματης μετάφρασης, κάντε κλικ εδώ για να μεταβείτε στο αρχικό άρθρο.

Άποψη: 15082|Απάντηση: 0

[Πηγή] Λειτουργίες API για Hadoop - HDFS

[Αντιγραφή συνδέσμου]
Δημοσιεύτηκε στις 5/7/2019 4:33:58 μ.μ. | | |
1. Εισαγάγετε την εξάρτηση

Σημείωση: Εάν πρέπει να εισαγάγετε με μη αυτόματο τρόπο το πακέτο jar, το πακέτο jar HDFS ---- τον κατάλογο εγκατάστασης Hadoop κάτω από την κοινή χρήση

2. Περιγραφή της ανάπτυξης στο πλαίσιο του παραθύρου

Συνιστάται η ανάπτυξη εφαρμογών Hadoop σε Linux και δεν θα υπάρχουν προβλήματα συμβατότητας. Εάν θέλετε να αναπτύξετε μια εφαρμογή πελάτη στα Windows, πρέπει να ρυθμίσετε το ακόλουθο περιβάλλον:

Α. Αποσυμπιέστε ένα πακέτο εγκατάστασης Hadoop σε έναν κατάλογο στα Windows

Β. Αντικαταστήστε τους καταλόγους lib και bin κάτω από το πακέτο εγκατάστασης με τις τοπικές βιβλιοθήκες που έχουν μεταγλωττιστεί για την αντίστοιχη έκδοση Windows της πλατφόρμας

Γ. Διαμορφώστε το HADOOP_HOME στο σύστημα παραθύρων ώστε να οδηγεί στο πακέτο εγκατάστασης που αποσυμπιέσατε

Δ. Προσθέστε τον κατάλογο bin του Hadoop στη μεταβλητή διαδρομής του συστήματος Windows


Για να λειτουργήσετε το HDFS σε Java, πρέπει πρώτα να λάβετε μια παρουσία πελάτη




Ο στόχος λειτουργίας μας είναι το HDFS, επομένως το ληφθέν αντικείμενο fs θα πρέπει να είναι μια παρουσία του DistributedFileSystem.

Μέθοδος λήψης: Από πού προέρχεται η συγκεκριμένη κλάση προγράμματος-πελάτη παρουσίας;

- Κρίνοντας από την τιμή διαμόρφωσης μιας από τις παραμέτρους fs.defaultFS στο conf;

Εάν δεν καθορίσουμε το fs.defaultFS στον κώδικά μας και δεν υπάρχει αντίστοιχη διαμόρφωση που δίνεται κάτω από το project classpath, η προεπιλεγμένη τιμή στο conf προέρχεται από το core-default.xml στο πακέτο jar hadoop και η προεπιλεγμένη τιμή είναι: file:///, τότε η απόκτηση δεν θα είναι μια παρουσία του DistributedFileSystem, αλλά ένα αντικείμενο πελάτη του τοπικού συστήματος αρχείων.


Προσθήκη, διαγραφή, τροποποίηση και έλεγχος εγγράφων

Πρόσβαση στο HDFS μέσω ροής







Προηγούμενος:Συνάθροιση εντολών Hadoop HDFS Shell
Επόμενος:C# Αίτημα Http Μεταφόρτωση αρχείου φόρμας (μπορούν να προστεθούν πρόσθετες παράμετροι)
Αποκήρυξη:
Όλο το λογισμικό, το υλικό προγραμματισμού ή τα άρθρα που δημοσιεύονται από το Code Farmer Network προορίζονται μόνο για μαθησιακούς και ερευνητικούς σκοπούς. Το παραπάνω περιεχόμενο δεν θα χρησιμοποιηθεί για εμπορικούς ή παράνομους σκοπούς, άλλως οι χρήστες θα υποστούν όλες τις συνέπειες. Οι πληροφορίες σε αυτόν τον ιστότοπο προέρχονται από το Διαδίκτυο και οι διαφορές πνευματικών δικαιωμάτων δεν έχουν καμία σχέση με αυτόν τον ιστότοπο. Πρέπει να διαγράψετε εντελώς το παραπάνω περιεχόμενο από τον υπολογιστή σας εντός 24 ωρών από τη λήψη. Εάν σας αρέσει το πρόγραμμα, υποστηρίξτε γνήσιο λογισμικό, αγοράστε εγγραφή και λάβετε καλύτερες γνήσιες υπηρεσίες. Εάν υπάρχει οποιαδήποτε παραβίαση, επικοινωνήστε μαζί μας μέσω email.

Mail To:help@itsvse.com