FS Shell
Invocarea comenzii File System (FS) Shell ar trebui să fie sub forma bin/hadoop <args>fs. Toate comenzile shell FS folosesc calea URI ca parametru. Formatul URI este scheme://authority/path. Pentru sistemele de fișiere HDFS, schema este hdfs, iar pentru sistemele de fișiere locale, schema este fișier. Parametrii schemei și autorității sunt opționali, iar dacă nu sunt specificați, schema implicită specificată în configurație va fi folosită. Un fișier sau un director HDFS precum /parent/child poate fi reprezentat ca hdfs://namenode:namenodeport/parent/child sau pur și simplu /parent/child (presupunând că valoarea implicită din fișierul tău de configurare este namenode:namenodeport). Majoritatea comenzilor FS Shell se comportă similar cu omologii lor Unix Shell, cu diferențe care vor fi menționate în secțiunea următoare. Informațiile de eroare sunt trimise către stderr, iar alte informații sunt trimise către stdout.
PisicaCum să folosești: hadoop fs -cat URI [URI ...]
Trimite conținutul fișierului specificat pe cale în stdout.
Exemplu:
hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2
hadoop fs - cat file:///file3 /user/hadoop/file4
Valoarea returnării:
Returnează cu succes 0, nu returnează -1.
chgrp
Cum să folosești: hadoop fs -chgrp [-R] GRUP URI [URI ...] Schimbă asocierea grupului de fișiere. Cu -R, modifică recursiv prin structura de directoare. Utilizatorul trebuie să fie proprietarul fișierelor sau un super-utilizator. Informații suplimentare se găsesc în Ghidul utilizatorului pentru permisiuni. -->
Schimbă grupul căruia îi aparține fișierul. Folosirea lui -R va face schimbarea recursiv sub structura de directoare. Utilizatorul comenzii trebuie să fie proprietarul fișierului sau un superutilizator. Pentru mai multe informații, consultați Ghidul utilizatorului pentru permisiuni HDFS.
chmod
Cum să folosești: hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]
Schimbă permisiunile unui fișier. Folosirea lui -R va face schimbarea recursiv sub structura de directoare. Utilizatorul comenzii trebuie să fie proprietarul fișierului sau un superutilizator. Pentru mai multe informații, consultați Ghidul utilizatorului pentru permisiuni HDFS.
chown
Cum să folosești: hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]
Schimbă proprietarul fișierului. Folosirea lui -R va face schimbarea recursiv sub structura de directoare. Utilizatorul comenzii trebuie să fie un superutilizator. Pentru mai multe informații, consultați Ghidul utilizatorului pentru permisiuni HDFS.
copyFromLocal
Cum să folosești: hadoop fs -<localsrc>copyFromLocal URI
Cu excepția faptului că calea sursă este un fișier local, similar cu comanda put.
copyToLocal
Cum să folosești: hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>
Similar cu comanda get, cu excepția faptului că calea țintă este un fișier local.
CP
Cum să folosești: hadoop fs -cp URI [URI ...] <dest>
Copiază fișierele de pe calea sursă pe calea destinației. Această comandă permite mai multe căi sursă, caz în care calea destinație trebuie să fie un director.
Exemplu:
hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2
hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir
Valoarea returnării:
Returnează cu succes 0, nu returnează -1.
du
Cum să folosești: hadoop fs -du URI [URI ...]
Afișează dimensiunea tuturor fișierelor din director sau atunci când este specificat un singur fișier.
Exemplu:
hadoop fs -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://host:port/user/hadoop/dir1
Valoarea returnării:
Returnează cu succes 0, nu returnează -1.
dus
Cum să folosești: hadoop fs -<args>dus
Afișează dimensiunea fișierului.
șterge
Cum să folosești: Hadoop FS - eliminare
Golește coșul de reciclare. Vă rugăm să consultați documentația de proiectare HDFS pentru mai multe informații despre caracteristicile coșului de reciclare.
Ia-ți
Cum să folosești: hadoop fs -get [-ignorecrc] [-<src><localdst>crc ]
Copiază fișierele în sistemul tău local de fișiere. Poți folosi opțiunea -ignorecrc pentru a copia fișierele care au eșuat la verificarea CRC. Folosește opțiunea -crc pentru a copia fișierul împreună cu informațiile CRC.
Exemplu:
hadoop fs - get /user/hadoop/file localfile
hadoop fs -get hdfs://host:port/user/hadoop/file localfile
Valoarea returnării:
Returnează cu succes 0, nu returnează -1.
getmerge
Cum să folosești: hadoop fs -getmerge <src> <localdst> [addnl]
Acceptați un director sursă și un fișier țintă ca intrare și conectați toate fișierele din directorul sursă la fișierul țintă local. AddnL este opțional și specifică că se adaugă o întrerupere de linie la sfârșitul fiecărui fișier.
ls
Cum să folosești: hadoop fs -ls <args>
Dacă este un fișier, informațiile fișierului sunt returnate în următorul format:
Nume <副本数> fișier Dimensiunea fișierului Data modificării: Timp modificat: Permisiuni ID utilizator, ID de grup și ID
Dacă este un director, returnează o listă cu subfișierele sale directe, la fel ca în Unix. Cuprinsul returnează următoarele informații:
Nume <dir> director Data modificată Timp modificat Permisiunea ID utilizator ID grup
Exemplu:
hadoop fs -ls /user/hadoop/file1 /user/hadoop/file2 hdfs://host:port/user/hadoop/dir1 /nonexistentfile
Valoarea returnării:
Returnează cu succes 0, nu returnează -1.
LSR
Cum să folosești: hadoop fs -<args>lsr
Comanda LS. Similar cu ls-R în Unix.
mkdir
Cum să folosești: hadoop fs -mkdir <paths>
Acceptați URI-ul specificat de cale ca parametru pentru crearea acestor directoare. Se comportă ca mkdir-ul -p al Unix, care creează directoare părinți la toate nivelurile din cale.
Exemplu:
hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2
Hadoop FS -mkdir HDFs://host1:port1/User/Hadoop/Dir HDFs://host2:port2/User/Hadoop/Dir
Valoarea returnării:
Returnează cu succes 0, nu returnează -1.
mutare din Local
Cum să folosești: dfs -moveFromLocal <src> <dst>
Afișează un mesaj "neimplementat".
MV
Cum să folosești: hadoop fs -mv URI [URI ...] <dest>
Mută fișierele de pe calea sursă pe calea destinației. Această comandă permite mai multe căi sursă, caz în care calea destinație trebuie să fie un director. Mutarea fișierelor între diferite sisteme de fișiere nu este permisă.
Exemplu:
hadoop fs -mv /user/hadoop/file1 /user/hadoop/file2
hadoop fs -mv hdfs://host:port/file1 hdfs://host:port/file2 hdfs://host:port/file3 hdfs://host:port/dir1
Valoarea returnării:
Returnează cu succes 0, nu returnează -1.
pune
Cum să folosești: hadoop fs - <localsrc> pune ... <dst>
Copiază o singură sau mai multe căi sursă din sistemul local de fișiere către sistemul de fișiere destinație. De asemenea, suportă citirea intrărilor din intrări standard și scrierea lor în sistemul de fișiere țintă.
hadoop fs - put localfile /user/hadoop/hadoopfile
hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir
hadoop fs -put localfile hdfs://host:port/hadoop/hadoopfile
hadoop fs -put - hdfs://host:port/hadoop/hadoopfile
Citește intrarea de la intrarea standard.
Valoarea returnării:
Returnează cu succes 0, nu returnează -1.
RM
Cum să folosești: hadoop fs -rm URI [URI ...]
Șterge fișierul specificat. Doar directoarele și fișierele negoale sunt șterse. Pentru mai multe informații, consultați comanda rmr pentru ștergerea recursivă.
Exemplu:
hadoop fs -rm hdfs://host:port/file /user/hadoop/emptydir
Valoarea returnării:
Returnează cu succes 0, nu returnează -1.
RMR
Cum să folosești: hadoop fs -rmr URI [URI ...]
Șterge.
Exemplu:
hadoop fs -rmr /user/hadoop/dir
hadoop fs -rmr hdfs://host:port/user/hadoop/dir
Valoarea returnării:
Returnează cu succes 0, nu returnează -1.
setrep
Cum să folosești: hadoop fs -setrep [-R<path>]
Schimbă factorul de copiere al unui fișier. Opțiunea -R este folosită pentru a schimba recursiv factorul de copiere al tuturor fișierelor din director.
Exemplu:
hadoop fs -setrep -w 3 -R /user/hadoop/dir1
Valoarea returnării:
Returnează cu succes 0, nu returnează -1.
Statistică
Cum să folosești: hadoop fs -stat URI [URI ...]
Returnează statistici pentru calea specificată.
Exemplu:
Hadoop FS - Calea statisticilor
Valoarea returnării:
Returnează cu succes 0, nu returnează -1.
Coada
Cum să folosești: hadoop fs -coadă [-f] URI
Trimite conținutul ultimilor 1K octeți ai fișierului în stdout. Suportă opțiunea -f, comportamentul este consistent cu Unix.
Exemplu:
Hadoop FS - Nume de cale coadă
Valoarea returnării:
Returnează cu succes 0, nu returnează -1.
testa
Cum să folosești: hadoop fs -test -[ezd] URI
Opțiuni:
-Verifică dacă fișierul există. Returnează 0 dacă este prezent.
-z Verifică dacă fișierul are 0 octeți. Dacă da, returnează 0.
-d returnează 1 dacă calea este un director, altfel 0.
Exemplu:
Hadoop FS -test -e Nume de fișier
Text
Cum să folosești: hadoop fs <src>-text
Scoate fișierul sursă în format text. Formatele permise sunt zip și TextRecordInputStream.
touchz
Cum să folosești: hadoop fs -touchz URI [URI ...]
Creează un fișier gol cu 0 octeți.
Exemplu:
hadoop -touchz nume de cale
Valoarea returnării:
Returnează cu succes 0, nu returnează -1.
Linkuri oficiale:Autentificarea cu hyperlink este vizibilă.
|
Postat pe 05.07.2019 15:29:44
|
|
|
|
