FS Shell
Att anropa File System (FS) Shell-kommandot ska ske i form av bin/hadoop fs<args>. Alla FS-skalkommandon använder URI-vägen som parameter. URI-formatet är scheme://authority/path. För HDFS-filsystem är scheme hdfs, och för lokala filsystem är scheme file. Schema- och auktoritetsparametrarna är valfria, och om det inte specificeras kommer standardschemat som anges i konfigurationen att användas. En HDFS-fil eller katalog som /parent/child kan representeras som hdfs://namenode:nameport/parent/child, eller helt enkelt /parent/child (förutsatt att standardvärdet i din konfigurationsfil är namenode:namenodeport). De flesta FS Shell-kommandon beter sig likt sina Unix Shell-motsvarigheter, med skillnader som kommer att noteras i följande avsnitt. Felinformation matas ut till stderr, och annan information till stdout.
kattHur man använder: hadoop fs -cat URI [URI ...]
Exportera innehållet i den sökvägsspecificerade filen till stdout.
Exempel:
Hadoop FS -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2
Hadoop FS -cat file:///file3 /user/hadoop/file4
Avkastningsvärde:
Returnerar framgångsrikt 0, misslyckas med att returnera -1.
chgrp
Hur man använder: hadoop fs -chgrp [-R] GRUPP URI [URI ...] Ändra gruppanslutning av filer. Med -R, gör ändringen rekursivt genom katalogstrukturen. Användaren måste vara ägare till filerna, eller annars en superanvändare. Ytterligare information finns i användarguiden för behörigheter. -->
Byt den grupp som filen tillhör. Att använda -R kommer att göra ändringen rekursivt under katalogstrukturen. Användaren av kommandot måste vara ägare till filen eller en superanvändare. För mer information, se HDFS Permissions User Guide.
chMod
Hur man använder: hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]
Ändra behörigheterna för en fil. Att använda -R kommer att göra ändringen rekursivt under katalogstrukturen. Användaren av kommandot måste vara ägare till filen eller en superanvändare. För mer information, se HDFS Permissions User Guide.
chown
Hur man använder: hadoop fs -chown [-R] [ÄGARE][:[GROUP]] URI [URI]
Byt ägare till filen. Att använda -R kommer att göra ändringen rekursivt under katalogstrukturen. Användaren av kommandot måste vara en superanvändare. För mer information, se HDFS Permissions User Guide.
copyFromLocal
Hur man använder: hadoop fs -copyFromLocal <localsrc> URI
Förutom att källsökvägen är en lokal fil, liknande put-kommandot.
copyToLocal
Hur man använder: hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>
Liknande get-kommandot, förutom att målsökvägen är en lokal fil.
CP
Hur man använder: hadoop fs -cp URI [URI ...] <dest>
Kopiera filer från källvägen till destinationsvägen. Detta kommando tillåter flera källvägar, i vilket fall destinationsvägen måste vara en katalog.
Exempel:
Hadoop FS -cp /user/hadoop/file1 /user/hadoop/file2
Hadoop FS -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir
Avkastningsvärde:
Returnerar framgångsrikt 0, misslyckas med att returnera -1.
du
Hur man använder: hadoop fs -du URI [URI ...]
Visar storleken på alla filer i katalogen, eller när endast en fil är specificerad.
Exempel:
Hadoop FS -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://host:port/user/hadoop/dir1
Avkastningsvärde:
Returnerar framgångsrikt 0, misslyckas med att returnera -1.
DUS
Hur man använder: hadoop fs -<args>dus
Visar filens storlek.
Radering
Hur man använder: Hadoop FS -expunge
Töm återvinningskärpen. Vänligen se HDFS designdokumentation för mer information om återvinningskärlets egenskaper.
Hämta
Hur man använder: hadoop fs -get [-ignorecrc] [-crc <src> <localdst>]
Kopiera filer till ditt lokala filsystem. Du kan använda -ignorecrc-alternativet för att kopiera filer som misslyckades med CRC-verifiering. Använd -crc-alternativet för att kopiera filen tillsammans med CRC-informationen.
Exempel:
Hadoop FS -get /user/hadoop/file localfile
Hadoop FS -hämta hdfs://host:port/user/hadoop/file localfile
Avkastningsvärde:
Returnerar framgångsrikt 0, misslyckas med att returnera -1.
getmerge
Hur man använder: hadoop fs -getmerge <src> <localdst> [addnl]
Acceptera en källkatalog och en målfil som inmatning, och koppla alla filer i källkatalogen till den lokala målfilen. AddNL är valfritt och specificerar att ett radbrytningsmeddelande läggs till i slutet av varje fil.
ls
Hur man använder: hadoop fs -ls <args>
Om det är en fil returneras filinformationen i följande format:
Filnamn <副本数> Filstorlek Datum ändrat: Tid för ändringar: Behörigheter Användar-ID, Grupp-ID och ID
Om det är en katalog returnerar den en lista över sina direkta underfiler, precis som i Unix. Innehållsförteckningen ger följande information:
Katalognamn <dir> Modifierat datum Modifierad tid Behörighet Användar-ID Grupp-ID
Exempel:
Hadoop FS -ls /user/hadoop/file1 /user/hadoop/file2 hdfs://host:port/user/hadoop/dir1 /nonexistentfile
Avkastningsvärde:
Returnerar framgångsrikt 0, misslyckas med att returnera -1.
LSR
Hur man använder: hadoop fs -<args>lsr
Är befallningen. Liknande ls -R i Unix.
mkdir
Hur man använder: hadoop fs -mkdir <paths>
Acceptera den URI som anges av sökvägen som en parameter för att skapa dessa kataloger. Den beter sig som Unix mkdir -p, som skapar föräldrakataloger på alla nivåer i vägen.
Exempel:
Hadoop FS -mkdir /user/hadoop/dir1 /user/hadoop/dir2
Hadoop FS -mkdir hdfs://host1:port1/user/hadoop/dir hdfs://host2:port2/user/hadoop/dir
Avkastningsvärde:
Returnerar framgångsrikt 0, misslyckas med att returnera -1.
flyttafrånLokal
Hur man använder: dfs -moveFromLocal <src> <dst>
Ger ett meddelande om "ej implementerat".
MV
Hur man använder: hadoop fs -mv URI [URI ...] <dest>
Flytta filer från källvägen till destinationsvägen. Detta kommando tillåter flera källvägar, i vilket fall destinationsvägen måste vara en katalog. Att flytta filer mellan olika filsystem är inte tillåtet.
Exempel:
Hadoop FS -mv /user/hadoop/file1 /user/hadoop/file2
Hadoop FS -MV HDFS://host:port/file1 hdfs://host:port/file2 hdfs://host:port/file3 hdfs://host:port/dir1
Avkastningsvärde:
Returnerar framgångsrikt 0, misslyckas med att returnera -1.
Sätt
Hur man använder: hadoop fs -put <localsrc> ... <dst>
Kopiera en eller flera källvägar från det lokala filsystemet till destinationsfilsystemet. Den stöder också läsning av indata från standardindata och skrivning av dem till målfilsystemet.
Hadoop FS -put localfile /user/hadoop/hadoopfile
Hadoop FS -put localfile1 localfile2 /user/hadoop/hadoopdir
Hadoop FS -put localfile hdfs://host:port/hadoop/hadoopfile
Hadoop FS -put - hdfs://host:port/hadoop/hadoopfile
Läs inmatning från standardinmatning.
Avkastningsvärde:
Returnerar framgångsrikt 0, misslyckas med att returnera -1.
RM
Hur man använder: hadoop fs -rm URI [URI ...]
Radera den angivna filen. Endast icke-tomma kataloger och filer raderas. För mer information, se rmr-kommandot för rekursiv borttagning.
Exempel:
Hadoop FS -rm hdfs://host:port/file /user/hadoop/emptydir
Avkastningsvärde:
Returnerar framgångsrikt 0, misslyckas med att returnera -1.
RMR
Hur man använder: hadoop fs -rmr URI [URI ...]
Radera.
Exempel:
Hadoop FS -rmr /användare/hadoop/dir
Hadoop FS -RMR HDFS://host:port/user/hadoop/dir
Avkastningsvärde:
Returnerar framgångsrikt 0, misslyckas med att returnera -1.
setrep
Hur man använder: hadoop fs -setrep [-R<path>]
Ändra kopiofaktorn för en fil. -R-alternativet används för att rekursivt ändra kopieringsfaktorn för alla filer i katalogen.
Exempel:
hadoop fs -setrep -w 3 -R /user/hadoop/dir1
Avkastningsvärde:
Returnerar framgångsrikt 0, misslyckas med att returnera -1.
stat
Hur man använder: hadoop fs -stat URI [URI ...]
Returnerar statistik för den angivna vägen.
Exempel:
Hadoop FS -stat path
Avkastningsvärde:
Returnerar framgångsrikt 0, misslyckas med att returnera -1.
Svans
Hur man använder: hadoop fs -tail [-f] URI
Exportera innehållet från de sista 1 000 bytena i filen till stdout. Stöd -f-alternativet, beteendet är konsekvent med Unix.
Exempel:
hadoop fs -svansvägnamn
Avkastningsvärde:
Returnerar framgångsrikt 0, misslyckas med att returnera -1.
test
Hur man använder: hadoop fs -test -[ezd] URI
Alternativ:
-e Kontrollera om filen finns. Returnerar 0 om det är närvarande.
-z Kontrollera om filen är 0 byte. Om ja, returnerar 0.
-d Returnerar 1 om sökvägen är en katalog, annars 0.
Exempel:
Hadoop fs -test -e filnamn
SMS
Hur man använder: hadoop fs <src>-text
Exportera källfilen som textformat. Tillåtna format är zip och TextRecordInputStream.
Touchz
Hur man använder: hadoop fs -touchz URI [URI ...]
Skapa en tom fil med 0 byte.
Exempel:
Hadoop -touchz vägnamn
Avkastningsvärde:
Returnerar framgångsrikt 0, misslyckas med att returnera -1.
Officiella länkar:Inloggningen med hyperlänken är synlig.
|
Publicerad på 2019-07-05 15:29:44
|
|
|
|
