FS Shell
Das Aufrufen des File System (FS) Shell-Befehls sollte in Form von bin/hadoop fs erfolgen<args>. Alle FS-Shell-Befehle verwenden den URI-Pfad als Parameter. Das URI-Format ist scheme://authority/path. Für HDFS-Dateisysteme ist Scheme HDFS, und für lokale Dateisysteme ist Scheme Datei. Das Schema und die Autoritätsparameter sind optional, und wenn nicht angegeben, wird das in der Konfiguration angegebene Standardschema verwendet. Eine HDFS-Datei oder ein Verzeichnis wie /parent/child kann als hdfs://namenode:namenodeport/parent/child oder einfach /parent/child dargestellt werden (vorausgesetzt, der Standardwert in Ihrer Konfigurationsdatei ist namenode:namenoport). Die meisten FS-Shell-Befehle verhalten sich ähnlich wie ihre Unix-Shell-Gegenstücke, mit Unterschieden, die im folgenden Abschnitt erwähnt werden. Fehlerinformationen werden an stderr ausgegeben, andere Informationen an stdout.
KatzeWie man benutzt: hadoop fs -cat URI [URI ...]
Geben Sie den Inhalt der pfadspezifizierten Datei in stdout aus.
Beispiel:
Hadoop FS -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2
hadoop fs -cat file:///file3 /user/hadoop/file4
Renditewert:
Wird erfolgreich 0 zurückgegeben, kann -1 nicht zurückgegeben werden.
chgrp
Wie man benutzt: hadoop fs -chgrp [-R] GROUP URI [URI ...] Ändern Sie die Gruppenzuordnung der Dateien. Mit -R wird die Änderung rekursiv über die Verzeichnisstruktur vorgenommen. Der Benutzer muss der Eigentümer der Dateien sein oder ein Super-User. Weitere Informationen finden Sie im Benutzerhandbuch für Berechtigungen. -->
Ändere die Gruppe, zu der die Datei gehört. Die Verwendung von -R führt die Änderung rekursiv unter der Verzeichnisstruktur vor. Der Benutzer des Befehls muss der Besitzer der Datei oder ein Superuser sein. Weitere Informationen finden Sie im HDFS Permissions User Guide.
chmod
Wie man benutzt: hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]
Ändere die Berechtigungen einer Datei. Die Verwendung von -R führt die Änderung rekursiv unter der Verzeichnisstruktur vor. Der Benutzer des Befehls muss der Besitzer der Datei oder ein Superuser sein. Weitere Informationen finden Sie im HDFS Permissions User Guide.
chown
Wie man benutzt: hadoop fs -chown [-R] [BESITZER][:[GROUP]] URI [URI ]
Ändere den Besitzer der Datei. Die Verwendung von -R führt die Änderung rekursiv unter der Verzeichnisstruktur vor. Der Benutzer des Befehls muss ein Superuser sein. Weitere Informationen finden Sie im HDFS Permissions User Guide.
copyFromLocal
Wie man verwendet: hadoop fs -copyFromLocal <localsrc> URI
Außer dass der Quellpfad eine lokale Datei ist, ähnlich dem Befehl put.
copyToLocal
Wie man verwendet: hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>
Ähnlich wie der Befehl get, nur dass der Zielpfad eine lokale Datei ist.
CP
Wie man verwendet: hadoop fs -cp URI [URI ...] <dest>
Kopiere Dateien vom Quellpfad auf den Zielpfad. Dieser Befehl erlaubt mehrere Quellpfade, wobei der Zielpfad ein Verzeichnis sein muss.
Beispiel:
Hadoop FS -cp /user/hadoop/file1 /user/hadoop/file2
Hadoop FS -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir
Renditewert:
Wird erfolgreich 0 zurückgegeben, kann -1 nicht zurückgegeben werden.
du
Wie man benutzt: hadoop fs -du URI [URI ...]
Zeigt die Größe aller Dateien im Verzeichnis an, oder wenn nur eine Datei angegeben ist.
Beispiel:
Hadoop FS -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://host:port/user/hadoop/dir1
Renditewert:
Wird erfolgreich 0 zurückgegeben, kann -1 nicht zurückgegeben werden.
DUS
Wie man benutzt: hadoop fs -<args>dus
Zeigt die Dateigröße an.
Löschung
Wie man verwendet: Hadoop FS -expunge
Leere den Recyclingbehälter. Bitte lesen Sie die HDFS-Designdokumentation für weitere Informationen zu den Eigenschaften des Recyclingbehälters.
Erhalten
Wie man benutzt: hadoop fs -get [-ignorecrc] [-crc <src> <localdst>]
Kopiere Dateien in dein lokales Dateisystem. Du kannst die -ignorecrc-Option verwenden, um Dateien zu kopieren, die die CRC-Verifizierung nicht bestanden haben. Verwenden Sie die -crc-Option, um die Datei zusammen mit den CRC-Informationen zu kopieren.
Beispiel:
Hadoop FS -get /user/hadoop/file localfile
Hadoop FS -get hdfs://host:port/user/hadoop/file localfile
Renditewert:
Wird erfolgreich 0 zurückgegeben, kann -1 nicht zurückgegeben werden.
getmerge
Wie man verwendet: hadoop fs -getmerge <src> <localdst> [addnl]
Akzeptieren Sie ein Quellverzeichnis und eine Zieldatei als Eingabe und verbinden Sie alle Dateien im Quellverzeichnis mit der lokalen Zieldatei. addnl ist optional und legt fest, dass am Ende jeder Datei ein Zeilenumbruch hinzugefügt wird.
ls
Wie man benutzt: Hadoop fs -ls <args>
Handelt es sich um eine Datei, werden die Dateiinformationen im folgenden Format zurückgegeben:
Dateiname <副本数> Dateigröße Datum geändert: Änderungszeit: Benutzer-ID, Gruppen-ID und -ID
Handelt es sich um ein Verzeichnis, gibt es eine Liste seiner direkten Unterdateien zurück, genau wie in Unix. Das Inhaltsverzeichnis liefert folgende Informationen:
Verzeichnisname <dir> Geändertes Datum Geänderte Zeit Berechtigung Benutzer-ID Gruppen-ID
Beispiel:
Hadoop FS -ls /user/hadoop/file1 /user/hadoop/file2 hdfs://host:port/user/hadoop/dir1 /nonexistentfile
Renditewert:
Wird erfolgreich 0 zurückgegeben, kann -1 nicht zurückgegeben werden.
LSR
Wie man verwendet: hadoop fs -<args>lsr
Ist Befehl. Ähnlich wie ls -R in Unix.
mkdir
Wie man benutzt: hadoop fs -mkdir <paths>
Akzeptieren Sie die vom Pfad angegebene URI als Parameter zur Erstellung dieser Verzeichnisse. Es verhält sich wie Unix' mkdir -p, das Elternverzeichnisse auf allen Ebenen des Pfads erstellt.
Beispiel:
Hadoop FS -mkdir /user/hadoop/dir1 /user/hadoop/dir2
Hadoop FS -mkdir hdfs://host1:port1/user/hadoop/dir hdfs://host2:port2/user/hadoop/dir
Renditewert:
Wird erfolgreich 0 zurückgegeben, kann -1 nicht zurückgegeben werden.
movefromLocal
Wie man verwendet: dfs -moveFromLocal <src> <dst>
Gibt eine "nicht implementiert"-Nachricht aus.
MV
Wie man benutzt: hadoop fs -mv URI [URI ...] <dest>
Verschieben Sie Dateien vom Quellpfad auf den Zielpfad. Dieser Befehl erlaubt mehrere Quellpfade, wobei der Zielpfad ein Verzeichnis sein muss. Das Verschieben von Dateien zwischen verschiedenen Dateisystemen ist nicht erlaubt.
Beispiel:
Hadoop FS -mv /user/hadoop/file1 /user/hadoop/file2
Hadoop FS -mv hdfs://host:port/file1 hdfs://host:port/file2 hdfs://host:port/file3 hdfs://host:port/dir1
Renditewert:
Wird erfolgreich 0 zurückgegeben, kann -1 nicht zurückgegeben werden.
Setzen
Wie man benutzt: hadoop fs -put <localsrc> ... <dst>
Kopiere einen oder mehrere Quellpfade vom lokalen Dateisystem zum Ziel-Dateisystem. Es unterstützt außerdem das Lesen von Eingaben aus Standard-Eingaben und das Schreiben in das Ziel-Dateisystem.
Hadoop FS -put localfile /user/hadoop/hadoopfile
Hadoop FS -put localfile1 localfile2 /user/hadoop/hadoopdir
Hadoop FS -put localfile hdfs://host:port/hadoop/hadoopfile
Hadoop FS -put - hdfs://host:port/hadoop/hadoopfile
Lesen Sie die Eingabe aus der Standardeingabe.
Renditewert:
Wird erfolgreich 0 zurückgegeben, kann -1 nicht zurückgegeben werden.
RM
Wie man benutzt: hadoop fs -rm URI [URI ...]
Lösche die angegebene Datei. Nur nicht leere Verzeichnisse und Dateien werden gelöscht. Für weitere Informationen siehe den rmr-Befehl für rekursive Löschung.
Beispiel:
Hadoop FS -rm hdfs://host:port/file /user/hadoop/emptydir
Renditewert:
Wird erfolgreich 0 zurückgegeben, kann -1 nicht zurückgegeben werden.
RMR
Wie man benutzt: hadoop fs -rmr URI [URI ...]
Löschen.
Beispiel:
hadoop fs -rmr /user/hadoop/dir
Hadoop FS -rmr hdfs://host:port/user/hadoop/dir
Renditewert:
Wird erfolgreich 0 zurückgegeben, kann -1 nicht zurückgegeben werden.
setrep
Wie man benutzt: hadoop fs -setrep [-R<path>]
Ändere den Kopierfaktor einer Datei. Die Option -R wird verwendet, um den Kopierfaktor aller Dateien im Verzeichnis rekursiv zu ändern.
Beispiel:
hadoop fs -setrep -w 3 -R /user/hadoop/dir1
Renditewert:
Wird erfolgreich 0 zurückgegeben, kann -1 nicht zurückgegeben werden.
STAT
Wie man verwendet: hadoop fs -stat URI [URI ...]
Gibt Statistiken für den angegebenen Pfad zurück.
Beispiel:
Hadoop FS -STAT-Pfad
Renditewert:
Wird erfolgreich 0 zurückgegeben, kann -1 nicht zurückgegeben werden.
Schwanz
Wie man benutzt: Hadoop fs -tail [-f] URI
Geben Sie den Inhalt der letzten 1K-Bytes der Datei in stdout aus. Unterstütze die -f-Option, das Verhalten ist mit Unix konsistent.
Beispiel:
Hadoop FS -Schwanzpfadname
Renditewert:
Wird erfolgreich 0 zurückgegeben, kann -1 nicht zurückgegeben werden.
Test
Wie man verwendet: hadoop fs -test -[ezd] URI
Optionen:
-e Überprüfe, ob die Akte existiert. Gibt 0 zurück, wenn vorhanden.
-z Prüfen Sie, ob die Datei 0 Bytes ist. Wenn ja, gibt 0 zurück.
-d gibt 1 zurück, wenn der Pfad ein Verzeichnis ist, ansonsten 0.
Beispiel:
hadoop fs -test -e Dateiname
Text
Wie man benutzt: hadoop fs <src>-text
Geben Sie die Quelldatei als Textformat aus. Erlaubte Formate sind zip und TextRecordInputStream.
touchz
Wie man verwendet: hadoop fs -touchz URI [URI ...]
Erstelle eine leere Datei mit 0 Bytes.
Beispiel:
Hadoop -touchz Pfadname
Renditewert:
Wird erfolgreich 0 zurückgegeben, kann -1 nicht zurückgegeben werden.
Offizielle Links:Der Hyperlink-Login ist sichtbar.
|
Veröffentlicht am 05.07.2019 15:29:44
|
|
|
|
