1. Einführung von Abhängigkeit
Hinweis: Wenn du das JAR-Paket manuell importieren musst, ---- das HDFS-JAR-Paket das Hadoop-Installationsverzeichnis unter Share
2. Beschreibung der Entwicklung unter dem Fenster
Es wird empfohlen, Hadoop-Anwendungen unter Linux zu entwickeln, da es keine Kompatibilitätsprobleme geben wird. Wenn Sie eine Client-Anwendung unter Windows entwickeln möchten, müssen Sie folgende Umgebung einrichten:
A. Entpacken Sie ein Hadoop-Installationspaket in einem Verzeichnis unter Windows
B. Ersetzen Sie die Lib- und Bin-Verzeichnisse unter dem Installationspaket durch die lokalen Bibliotheken, die für die entsprechende Windows-Version der Plattform kompiliert wurden
C. Konfigurieren Sie die HADOOP_HOME im Fenstersystem so, dass sie auf das entpackte Installationspaket verweisen
D. Fügen Sie Hadoops bin-Verzeichnis zur Pfadvariablen des Windows-Systems hinzu
Um HDFS in Java zu betreiben, benötigt man zunächst eine Client-Instanz
Unser Operationsziel ist HDFS, daher sollte das erhaltene fs-Objekt eine Instanz von DistributedFileSystem sein.
Get Method: Woher kommt die spezifische Instanz-Client-Klasse?
- Ausgehend vom Konfigurationswert eines der Parameter fs.defaultFS in conf;
Wenn wir fs.defaultFS in unserem Code nicht spezifizieren und keine entsprechende Konfiguration unter dem Projekt-Klassenpfad angegeben ist, stammt der Standardwert in conf aus dem core-default.xml im Hadoop-Jar-Paket, und der Standardwert lautet: file:///, dann ist der Erwerb keine Instanz von DistributedFileSystem, sondern ein Client-Objekt des lokalen Dateisystems;
Hinzufügen, Löschen, Modifikation und Inspektion von Dokumenten
Zugriff auf HDFS über Stream
|
Veröffentlicht am 05.07.2019 16:33:58
|
|
|
