FS Shell
Å kalle File System (FS) Shell-kommandoen skal være i form av bin/hadoop fs<args>. Alle FS-shell-kommandoer bruker URI-stien som parameter. URI-formatet er scheme://authority/path. For HDFS-filsystemer er scheme hdfs, og for lokale filsystemer er scheme file. Skjema- og autoritetsparametrene er valgfrie, og hvis ikke spesifisert, vil standardskjemaet som er spesifisert i konfigurasjonen bli brukt. En HDFS-fil eller katalog som /parent/child kan representeres som hdfs://namenode:namenodeport/parent/child, eller ganske enkelt /parent/child (forutsatt at standardverdien i konfigurasjonsfilen din er namenode:namenodeport). De fleste FS Shell-kommandoer oppfører seg på samme måte som sine Unix Shell-motparter, med forskjeller som vil bli nevnt i neste avsnitt. Feilinformasjon sendes til stderr, og annen informasjon sendes til stdout.
kattHvordan bruke: hadoop fs -cat URI [URI ...]
Eksporter innholdet i den sti-spesifiserte filen til stdout.
Eksempel:
Hadoop FS -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2
Hadoop FS -cat file:///file3 /user/hadoop/file4
Returverdi:
Returnerer 0 vellykket, returnerer ikke -1.
chgrp
Hvordan bruke: hadoop fs -chgrp [-R] GRUPPE URI [URI ...] Endre gruppens tilknytning av filer. Med -R, gjør endringen rekursivt gjennom katalogstrukturen. Brukeren må være eier av filene, eller en superbruker. Ytterligere informasjon finnes i brukerveiledningen for tillatelser. -->
Endre gruppen filen tilhører. Å bruke -R vil gjøre endringen rekursivt under katalogstrukturen. Brukeren av kommandoen må være eier av filen eller en superbruker. For mer informasjon, se HDFS Permissions User Guide.
CHMOD
Hvordan bruke: hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]
Endre tillatelsene til en fil. Å bruke -R vil gjøre endringen rekursivt under katalogstrukturen. Brukeren av kommandoen må være eier av filen eller en superbruker. For mer informasjon, se HDFS Permissions User Guide.
chown
Hvordan bruke: hadoop fs -chown [-R] [EIER][:[GROUP]] URI [URI ]
Bytt eier av filen. Å bruke -R vil gjøre endringen rekursivt under katalogstrukturen. Brukeren av kommandoen må være en superbruker. For mer informasjon, se HDFS Permissions User Guide.
copyFromLocal
Hvordan bruke: hadoop fs -copyFromLocal <localsrc> URI
Bortsett fra at kildestien er en lokal fil, lik put-kommandoen.
copyToLocal
Hvordan bruke: hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>
Ligner på get-kommandoen, bortsett fra at målstien er en lokal fil.
CP
Hvordan bruke: hadoop fs -cp URI [URI ...] <dest>
Kopier filer fra kildestien til destinasjonsstien. Denne kommandoen tillater flere kildestier, i så fall må destinasjonsstien være en katalog.
Eksempel:
Hadoop FS -cp /user/hadoop/file1 /user/hadoop/file2
Hadoop FS -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir
Returverdi:
Returnerer 0 vellykket, returnerer ikke -1.
du
Hvordan bruke: hadoop fs -du URI [URI ...]
Viser størrelsen på alle filer i katalogen, eller når bare én fil er spesifisert.
Eksempel:
Hadoop FS -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://host:port/user/hadoop/dir1
Returverdi:
Returnerer 0 vellykket, returnerer ikke -1.
DUS
Hvordan bruke: hadoop fs -<args>dus
Viser størrelsen på filen.
Sletting
Hvordan bruke: Hadoop FS -expunge
Tøm resirkuleringsbøtten. Vennligst se HDFS-designdokumentasjonen for mer informasjon om egenskapene til resirkuleringsbøtten.
Få tak
Hvordan bruke: hadoop fs -get [-ignorecrc] [-crc <src> <localdst>]
Kopier filer til ditt lokale filsystem. Du kan bruke -ignorecrc-alternativet for å kopiere filer som feilet CRC-verifiseringen. Bruk -crc-alternativet for å kopiere filen sammen med CRC-informasjonen.
Eksempel:
hadoop fs -get /user/hadoop/file localfile
Hadoop FS -få hdfs://host:port/user/hadoop/file localfile
Returverdi:
Returnerer 0 vellykket, returnerer ikke -1.
getmerge
Hvordan bruke: hadoop fs -getmerge <src> <localdst> [addnl]
Godta en kildekatalog og en målfil som input, og koble alle filene i kildekatalogen til den lokale målfilen. AddNL er valgfritt og spesifiserer at et linjeskift legges til på slutten av hver fil.
ls
Hvordan bruke: hadoop fs -ls <args>
Hvis det er en fil, returneres filinformasjonen i følgende format:
Filnavn <副本数> Filstørrelse Dato Endret: Tid endret: Tillatelser Bruker-ID, Gruppe-ID og ID
Hvis det er en katalog, returnerer den en liste over sine direkte underfiler, akkurat som i Unix. Innholdsfortegnelsen gir følgende informasjon:
Katalognavn <dir> Endret dato Endret tid Tillatelse Bruker-ID Gruppe-ID
Eksempel:
Hadoop FS -ls /user/hadoop/file1 /user/hadoop/file2 hdfs://host:port/user/hadoop/dir1 /nonexistentfile
Returverdi:
Returnerer 0 vellykket, returnerer ikke -1.
LSR
Hvordan bruke: hadoop fs -<args>lsr
Er kommando. Ligner på ls -R i Unix.
mkdir
Hvordan bruke: hadoop fs -mkdir <paths>
Aksepter URI-en spesifisert av stien som en parameter for å opprette disse katalogene. Den oppfører seg som Unix sin mkdir -p, som lager overordnede kataloger på alle nivåer i stien.
Eksempel:
Hadoop FS -mkdir /user/hadoop/dir1 /user/hadoop/dir2
Hadoop FS -mkdir hdfs://host1:port1/user/hadoop/dir hdfs://host2:port2/user/hadoop/dir
Returverdi:
Returnerer 0 vellykket, returnerer ikke -1.
movefromLocal
Hvordan bruke: dfs -moveFromLocal <src> <dst>
Sender ut en "ikke implementert"-melding.
MV
Hvordan bruke: hadoop fs -mv URI [URI ...] <dest>
Flytt filer fra kildestien til destinasjonsstien. Denne kommandoen tillater flere kildestier, i så fall må destinasjonsstien være en katalog. Det er ikke tillatt å flytte filer mellom ulike filsystemer.
Eksempel:
Hadoop FS -mv /user/hadoop/file1 /user/hadoop/file2
Hadoop FS -MV hdfs://host:port/file1 hdfs://host:port/file2 hdfs://host:port/file3 hdfs://host:port/dir1
Returverdi:
Returnerer 0 vellykket, returnerer ikke -1.
Sett
Hvordan bruke: hadoop fs -put <localsrc> ... <dst>
Kopier én eller flere kildestier fra det lokale filsystemet til destinasjonsfilsystemet. Den støtter også å lese input fra standard input og skrive dem til målfilsystemet.
hadoop fs -put localfile /user/hadoop/hadoopfile
Hadoop FS -put localfile1 localfile2 /user/hadoop/hadoopdir
Hadoop FS -put localfile hdfs://host:port/hadoop/hadoopfile
Hadoop FS -put - hdfs://host:port/hadoop/hadoopfile
Les input fra standard input.
Returverdi:
Returnerer 0 vellykket, returnerer ikke -1.
RM
Hvordan bruke: hadoop fs -rm URI [URI ...]
Slett den angitte filen. Kun ikke-tomme mapper og filer slettes. For mer informasjon, se rmr-kommandoen for rekursiv sletting.
Eksempel:
Hadoop FS -rm hdfs://host:port/file /user/hadoop/emptydir
Returverdi:
Returnerer 0 vellykket, returnerer ikke -1.
RMR
Hvordan bruke: hadoop fs -rmr URI [URI ...]
Slett.
Eksempel:
hadoop fs -rmr /user/hadoop/dir
Hadoop FS -rmr hdfs://host:port/user/hadoop/dir
Returverdi:
Returnerer 0 vellykket, returnerer ikke -1.
setrep
Hvordan bruke: hadoop fs -setrep [-R<path>]
Endre kopifaktoren på en fil. -R-alternativet brukes til å rekursivt endre kopifaktoren til alle filer i katalogen.
Eksempel:
hadoop fs -setrep -w 3 -R /user/hadoop/dir1
Returverdi:
Returnerer 0 vellykket, returnerer ikke -1.
Stat
Hvordan bruke: hadoop fs -stat URI [URI ...]
Returnerer statistikk for den angitte stien.
Eksempel:
Hadoop FS -stat bane
Returverdi:
Returnerer 0 vellykket, returnerer ikke -1.
Hale
Hvordan bruke: hadoop fs -tail [-f] URI
Eksporter innholdet fra de siste 1K bytene av filen til stdout. Støtt -f-alternativet, oppførselen er konsistent med Unix.
Eksempel:
hadoop fs -halestinavn
Returverdi:
Returnerer 0 vellykket, returnerer ikke -1.
prøve
Hvordan bruke: hadoop fs -test -[ezd] URI
Alternativer:
-Sjekk om filen finnes. Returnerer 0 hvis det er til stede.
-z Sjekk om filen er 0 byte. Hvis ja, returnerer 0.
-d returnerer 1 hvis stien er en katalog, ellers 0.
Eksempel:
hadoop fs -test -e filnavn
Tekst
Hvordan bruke: hadoop fs <src>-text
Eksporter kildefilen som tekstformat. Tillatte formater er zip og TextRecordInputStream.
Touchz
Hvordan bruke: hadoop fs -touchz URI [URI ...]
Lag en tom fil med 0 byte.
Eksempel:
Hadoop -touchz stinavn
Returverdi:
Returnerer 0 vellykket, returnerer ikke -1.
Offisielle lenker:Innloggingen med hyperkoblingen er synlig.
|
Publisert på 05.07.2019 15:29:44
|
|
|
|
