FS Shell
Wywołanie polecenia Shell systemu plików (FS) powinno mieć formę bin/hadoop fs<args>. Wszystkie polecenia powłoki FS wykorzystują ścieżkę URI jako parametr. Format URI to scheme://authority/path. W systemach plików HDFS schemat to hdfs, a dla lokalnych systemów plików scheme to plik. Parametry schematu i autorytetu są opcjonalne, a jeśli nie zostaną określone, użyty zostanie domyślny schemat określony w konfiguracji. Plik lub katalog HDFS, taki jak /parent/child, może być reprezentowany jako hdfs://namenode:namenodeport/parent/child lub po prostu /parent/child (zakładając, że domyślna wartość w pliku konfiguracyjnym to namenode:namenodeport). Większość poleceń FS Shell zachowuje się podobnie jak ich odpowiedniki w Unix Shell, z różnicami, które zostaną opisane w kolejnej sekcji. Informacje o błędzie są wysyłane do stderr, a inne informacje do stdout.
KotJak użyć: hadoop fs -cat URI [URI ...]
Wypisz zawartość pliku określonego ścieżką do stdout.
Przykład:
Hadoop FS -cat HDFS://host1:port1/file1 HDFS://host2:port2/file2
hadoop fs -cat file:///file3 /user/hadoop/file4
Wartość zwrotu:
Pomyślnie zwraca 0, nie zwraca -1.
chgrp
Jak użyć: hadoop fs -chgrp [-R] GRUPOWY URI [URI ...] Zmień grupę powiązania plików. Za pomocą -R dokonaj zmiany rekurencyjnie przez strukturę katalogów. Użytkownik musi być właścicielem plików lub superużytkownikiem. Dodatkowe informacje znajdują się w Przewodniku użytkownika Uprawnień. -->
Zmień grupę, do której należy plik. Użycie -R powoduje rekurencyjną zmianę w strukturze katalogów. Użytkownik polecenia musi być właścicielem pliku lub superużytkownikiem. Więcej informacji znajdziesz w Przewodniku Użytkownika Uprawnień HDFS.
chmod
Jak użyć: hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]
Zmień uprawnienia pliku. Użycie -R powoduje rekurencyjną zmianę w strukturze katalogów. Użytkownik polecenia musi być właścicielem pliku lub superużytkownikiem. Więcej informacji znajdziesz w Przewodniku Użytkownika Uprawnień HDFS.
Chown
Jak używać: hadoop fs -chown [-R] [WŁAŚCICIEL][:[GRUPA]] URI [URI ]
Zmień właściciela pliku. Użycie -R powoduje rekurencyjną zmianę w strukturze katalogów. Użytkownik polecenia musi być superużytkownikiem. Więcej informacji znajdziesz w Przewodniku Użytkownika Uprawnień HDFS.
copyFromLocal
Jak użyć: hadoop fs -copyFromLocal <localsrc> URI
Z tą różnicą, że ścieżka źródłowa jest plikiem lokalnym, podobnie jak polecenie put.
copyToLocal
Jak użyć: hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>
Podobnie jak polecenie get, z tą różnicą, że docelowa ścieżka to plik lokalny.
cp
Jak użyć: hadoop fs -cp URI [URI ...] <dest>
Skopiuj pliki ze ścieżki źródłowej na ścieżkę docelową. Polecenie to pozwala na wiele ścieżek źródłowych, w takim przypadku ścieżką docelową musi być katalog.
Przykład:
hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2
hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir
Wartość zwrotu:
Pomyślnie zwraca 0, nie zwraca -1.
du
Jak użyć: hadoop fs -du URI [URI ...]
Wyświetla rozmiar wszystkich plików w katalogu lub gdy podano tylko jeden plik.
Przykład:
hadoop fs -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://host:port/user/hadoop/dir1
Wartość zwrotu:
Pomyślnie zwraca 0, nie zwraca -1.
dus
Jak użyć: hadoop fs -<args>dus
Wyświetla rozmiar pliku.
usunięcie
Jak używać: Hadoop FS - usunięte
Opróżnij kosz na śmieci. Prosimy zapoznać się z dokumentacją projektową HDFS, aby uzyskać więcej informacji na temat charakterystyki pojemnika na recykling.
Pobierz
Jak używać: hadoop fs -get [-ignorecrc] [-crc <src> <localdst>]
Skopiuj pliki do lokalnego systemu plików. Możesz użyć opcji -ignorecrc, aby skopiować pliki, które nie przeszły weryfikacji CRC. Użyj opcji -crc, aby skopiować plik wraz z informacjami CRC.
Przykład:
hadoop fs -get /user/hadoop/file localfile
hadoop fs -get hdfs://host:port/user/hadoop/file localfile
Wartość zwrotu:
Pomyślnie zwraca 0, nie zwraca -1.
getmerge
Jak użyć: hadoop fs -<src> <localdst> getmerge [addnl]
Przyjmij katalog źródłowy i plik docelowy jako wejście i połącz wszystkie pliki z katalogu źródłowego z lokalnym plikiem docelowym. addnl jest opcjonalne i określa, że na końcu każdego pliku dodaje się przerwanie linii.
ls
Jak używać: hadoop fs -ls <args>
Jeśli jest to plik, informacje o pliku są zwracane w następującym formacie:
Nazwa pliku <副本数> Rozmiar pliku Data modyfikacji: Czas modyfikacji: Uprawnienia ID użytkownika, ID grupy i ID
Jeśli jest to katalog, zwraca listę swoich bezpośrednich podplików, tak jak w Unixie. Spis treści zwraca następujące informacje:
Nazwa katalogu <dir> Zmieniona Data Zmiana Czas Uprawnienia ID ID użytkownika ID grupy
Przykład:
hadoop fs -ls /user/hadoop/file1 /user/hadoop/file2 hdfs://host:port/user/hadoop/dir1 /nonexistentfile
Wartość zwrotu:
Pomyślnie zwraca 0, nie zwraca -1.
LSR
Jak użyć: hadoop fs -<args>lsr
To dowództwo. Podobnie jak ls-R w Uniksie.
mkdir
Jak używać: hadoop fs -mkdir <paths>
Zaakceptuj URI określone przez ścieżkę jako parametr do tworzenia tych katalogów. Zachowuje się jak mkdir -p w Unixie, który tworzy katalogi nadrzędne na wszystkich poziomach ścieżki.
Przykład:
hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2
hadoop fs -mkdir hdfs://host1:port1/user/hadoop/dir hdfs://host2:port2/user/hadoop/dir
Wartość zwrotu:
Pomyślnie zwraca 0, nie zwraca -1.
movefromLocal
Jak używać: dfs -moveFromLocal <src> <dst>
Wysyła komunikat "nie zaimplementowany".
MV
Jak użyć: hadoop fs -mv URI [URI ...] <dest>
Przenieś pliki ze ścieżki źródłowej do ścieżki docelowej. Polecenie to pozwala na wiele ścieżek źródłowych, w takim przypadku ścieżką docelową musi być katalog. Przenoszenie plików między różnymi systemami plików jest zabronione.
Przykład:
hadoop fs -mv /user/hadoop/file1 /user/hadoop/file2
Hadoop FS -MV HDFS://host:port/file1 HDFS://host:port/file2 HDFS://host:port/file3 HDFS://host:port/dir1
Wartość zwrotu:
Pomyślnie zwraca 0, nie zwraca -1.
Put
Jak używać: hadoop fs -put <localsrc> ... <dst>
Skopiuj pojedynczą lub wiele ścieżek źródłowych z lokalnego systemu plików do docelowego systemu plików. Obsługuje także odczyt wejść ze standardowych wejść i zapis ich do docelowego systemu plików.
hadoop fs -put localfile /user/hadoop/hadoopfile
hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir
hadoop fs -put localfile hdfs://host:port/hadoop/hadoopfile
Hadoop fs -put - hdfs://host:port/hadoop/hadoopfile
Odczytaj wejście ze standardowego wejścia.
Wartość zwrotu:
Pomyślnie zwraca 0, nie zwraca -1.
RM
Jak użyć: hadoop fs -rm URI [URI ...]
Usuń określony plik. Usuwane są tylko niepuste katalogi i pliki. Więcej informacji można znaleźć w poleceniu rmr dla usuwania rekurencyjnego.
Przykład:
hadoop fs -rm hdfs://host:port/file /user/hadoop/emptydir
Wartość zwrotu:
Pomyślnie zwraca 0, nie zwraca -1.
RMR
Jak użyć: hadoop fs -rmr URI [URI ...]
Usuń.
Przykład:
hadoop fs -rmr /user/hadoop/dir
hadoop fs -rmr hdfs://host:port/user/hadoop/dir
Wartość zwrotu:
Pomyślnie zwraca 0, nie zwraca -1.
setrep
Jak używać: hadoop fs -setrep [-R<path>]
Zmień współczynnik kopiowania pliku. Opcja -R służy do rekurencyjnej zmiany współczynnika kopiowania wszystkich plików w katalogu.
Przykład:
hadoop fs -setrep -w 3 -R /user/hadoop/dir1
Wartość zwrotu:
Pomyślnie zwraca 0, nie zwraca -1.
Statystyka
Jak użyć: hadoop fs -stat URI [URI ...]
Zwraca statystyki dla określonej ścieżki.
Przykład:
Hadoop FS - ścieżka statystyk
Wartość zwrotu:
Pomyślnie zwraca 0, nie zwraca -1.
Ogon
Jak użyć: hadoop fs -tail [-f] URI
Wypisz zawartość ostatnich 1K bajtów pliku do stdout. Wspieraj opcję -f, zachowanie jest zgodne z Uniksem.
Przykład:
Hadoop FS -nazwa ścieżki
Wartość zwrotu:
Pomyślnie zwraca 0, nie zwraca -1.
test
Jak użyć: hadoop fs -test -[ezd] URI
Opcje:
-e Sprawdź, czy plik istnieje. Zwraca 0, jeśli jest obecna.
-z Sprawdź, czy plik ma 0 bajtów. Jeśli tak, zwraca 0.
-d Zwraca 1, jeśli ścieżka jest katalogiem, w przeciwnym razie 0.
Przykład:
hadoop fs -test -e nazwa pliku
Tekst
Jak używać: hadoop fs <src>-text
Plik źródłowy wypisz w formacie tekstowym. Dozwolone formaty to zip i TextRecordInputStream.
touchz
Jak użyć: hadoop fs -touchz URI [URI ...]
Stwórz pusty plik o zerze bajtami.
Przykład:
Nazwa ścieżki hadoop -touchz
Wartość zwrotu:
Pomyślnie zwraca 0, nie zwraca -1.
Oficjalne linki:Logowanie do linku jest widoczne.
|
Opublikowano 05.07.2019 15:29:44
|
|
|
|
