Guscio FS
L'invocazione del comando File System (FS) Shell dovrebbe avvenire sotto forma di bin/hadoop <args>fs. Tutti i comandi shell FS usano il percorso URI come parametro. Il formato URI è scheme://authority/path. Per i file system HDFS, schema è hdfs, e per i file system locali, schema è file. I parametri dello schema e dell'autorità sono opzionali e, se non specificati, verrà utilizzato lo schema predefinito specificato nella configurazione. Un file o una directory HDFS come /parent/child può essere rappresentato come hdfs://namenode:namenodeport/parent/child, o semplicemente /parent/child (supponendo che il valore predefinito nel tuo file di configurazione sia namenode:namenodeport). La maggior parte dei comandi FS Shell si comporta in modo simile ai loro corrispettivi Unix Shell, con differenze che saranno evidenziate nella sezione seguente. Le informazioni sugli errori vengono inviate a stderr, mentre altre informazioni vengono inviate a stdout.
gattoCome usare: hadoop fs -cat URI [URI ...]
Invia il contenuto del file specificato per il percorso in stdout.
Esempio:
Hadoop FS -cat HDFS://host1:port1/file1 hdfs://host2:port2/file2
hadoop fs -cat file:///file3 /user/hadoop/file4
Valore di reso:
Restituisce con successo 0, non restituisce -1.
chgrp
Come usare: hadoop fs -chgrp [-R] GRUPPO URI [URI ...] Cambia l'associazione dei file nel gruppo. Con -R, effettuare la modifica ricorsivamente attraverso la struttura delle directory. L'utente deve essere il proprietario dei file, oppure un super-utente. Ulteriori informazioni sono disponibili nella Guida Utente dei Permessi. -->
Cambia il gruppo a cui appartiene il file. Usare -R effettuerà la modifica ricorsivamente sotto la struttura delle directory. L'utente del comando deve essere il proprietario del file o un superutente. Per ulteriori informazioni, consulta la Guida Utente HDFS Permissions.
chmod
Come usare: hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]
Cambia i permessi di un file. Usare -R effettuerà la modifica ricorsivamente sotto la struttura delle directory. L'utente del comando deve essere il proprietario del file o un superutente. Per ulteriori informazioni, consulta la Guida Utente HDFS Permissions.
chown
Come usare: hadoop fs -chown [-R] [PROPRIETARIO][:[GRUPPO]] URI [URI ]
Cambia il proprietario del file. Usare -R effettuerà la modifica ricorsivamente sotto la struttura delle directory. L'utilizzatore del comando deve essere un superutente. Per ulteriori informazioni, consulta la Guida Utente HDFS Permissions.
copyFromLocal
Come usare: hadoop fs -<localsrc>copyFromLocal URI
Tranne che il percorso sorgente è un file locale, simile al comando put.
copyToLocal
Come usare: hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>
Simile al comando get, tranne che il percorso di destinazione è un file locale.
CP
Come usare: hadoop fs -cp URI [URI ...] <dest>
Copia i file dal percorso sorgente al percorso di destinazione. Questo comando consente più percorsi sorgente, nel qual caso il percorso di destinazione deve essere una directory.
Esempio:
hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2
hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir
Valore di reso:
Restituisce con successo 0, non restituisce -1.
du
Come usare: hadoop fs -du URI [URI ...]
Mostra la dimensione di tutti i file nella cartella, o quando è specificato un solo file.
Esempio:
Hadoop FS -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://host:port/user/hadoop/dir1
Valore di reso:
Restituisce con successo 0, non restituisce -1.
dus
Come usare: hadoop fs -<args>dus
Mostra la dimensione del file.
Cancellazione
Come usare: Hadoop FS -eliminazione
Svuota il cestino. Per maggiori informazioni sulle caratteristiche del bidone del riciclo, si prega di consultare la documentazione di progettazione HDFS.
Ottieni
Come usare: hadoop fs -get [-ignorecrc] [-<src><localdst>crc]
Copia i file nel tuo file system locale. Puoi usare l'opzione -ignorecrc per copiare i file che non hanno verificato la verifica CRC. Usa l'opzione -crc per copiare il file insieme alle informazioni CRC.
Esempio:
hadoop fs -get /user/hadoop/file localfile
Hadoop FS -Get HDFs://host:port/user/hadoop/file localfile
Valore di reso:
Restituisce con successo 0, non restituisce -1.
getmerge
Come usare: hadoop fs -getmerge <src> <localdst> [addnl]
Accettare una directory sorgente e un file di destinazione come input, e collegare tutti i file nella cartella sorgente al file di destinazione locale. Addnl è opzionale e specifica che viene aggiunto un interruttore di riga alla fine di ogni file.
Ls
Come usare: hadoop fs -ls <args>
Se si tratta di un file, le informazioni del file vengono restituite nel seguente formato:
Nome <副本数> file Dimensione file Data di modifica: Tempo modificato: Permessi ID utente, ID gruppo e ID
Se si tratta di una directory, restituisce una lista dei suoi sottofile diretti, proprio come in Unix. L'indice restituisce le seguenti informazioni:
Nome <dir> della directory Data modificata Tempo modificato Permesso ID utente ID gruppo
Esempio:
hadoop fs -ls /user/hadoop/file1 /user/hadoop/file2 hdfs://host:port/user/hadoop/dir1 /nonexistentfile
Valore di reso:
Restituisce con successo 0, non restituisce -1.
LSR
Come usare: hadoop fs -<args>lsr
Ls Command. Simile a ls -R in Unix.
mkdir
Come usare: hadoop fs -mkdir <paths>
Accettare l'URI specificato dal percorso come parametro per creare queste directory. Si comporta come il mkdir -p di Unix, che crea directory genitori a tutti i livelli del percorso.
Esempio:
hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2
Hadoop FS -mkdir HDFs://host1:port1/User/Hadoop/Dir HDFs://host2:Port2/User/Hadoop/Dir
Valore di reso:
Restituisce con successo 0, non restituisce -1.
trasferirsi da locale
Come usare: dfs -moveFromLocal <src> <dst>
Invia un messaggio "non implementato".
MV
Come usare: hadoop fs -mv URI [URI ...] <dest>
Sposta i file dal percorso sorgente al percorso di destinazione. Questo comando consente più percorsi sorgente, nel qual caso il percorso di destinazione deve essere una directory. Non è permesso spostare file tra diversi file system.
Esempio:
Hadoop FS -MV /utente/hadoop/file1 /utente/hadoop/file2
hadoop fs -mv hdfs://host:port/file1 hdfs://host:port/file2 hdfs://host:port/file3 hdfs://host:port/dir1
Valore di reso:
Restituisce con successo 0, non restituisce -1.
put
Come usare: hadoop fs - <localsrc> metti ... <dst>
Copia uno o più percorsi sorgente dal file system locale al file system di destinazione. Supporta inoltre la lettura degli ingressi dagli ingressi standard e la loro scrittura nel file system di destinazione.
hadoop fs - inserisci filefile locale /user/hadoop/hadoopfile
hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir
hadoop fs -put localfile hdfs://host:port/hadoop/hadoopfile
hadoop fs -put - hdfs://host:port/hadoop/hadoopfile
Leggi l'input dall'input standard.
Valore di reso:
Restituisce con successo 0, non restituisce -1.
RM
Come usare: hadoop fs -rm URI [URI ...]
Elimina il file specificato. Solo le directory e i file non vuoti vengono eliminati. Per ulteriori informazioni, consulta il comando rmr per la cancellazione ricorsiva.
Esempio:
Hadoop FS -RM HDFS://host:port/file /user/hadoop/emptydir
Valore di reso:
Restituisce con successo 0, non restituisce -1.
RMR
Come usare: hadoop fs -rmr URI [URI ...]
cancella.
Esempio:
Hadoop FS -RMR /user/hadoop/dir
Hadoop FS -RMR HDFs://host:port/User/Hadoop/Dir
Valore di reso:
Restituisce con successo 0, non restituisce -1.
setrep
Come usare: hadoop fs -setrep [-R<path>]
Cambia il fattore di copia di un file. L'opzione -R viene utilizzata per modificare ricorsivamente il fattore di copia di tutti i file nella directory.
Esempio:
hadoop fs -setrep -w 3 -R /user/hadoop/dir1
Valore di reso:
Restituisce con successo 0, non restituisce -1.
Statistica
Come usare: hadoop fs -stat URI [URI ...]
Restituisce le statistiche per il percorso specificato.
Esempio:
Hadoop FS -Percorso delle statistiche
Valore di reso:
Restituisce con successo 0, non restituisce -1.
coda
Come usare: hadoop fs -coda [-f] URI
Invia il contenuto degli ultimi 1K byte del file in stdout. Supporta l'opzione -f, il comportamento è coerente con Unix.
Esempio:
Hadoop FS -Nome del percorso della coda
Valore di reso:
Restituisce con successo 0, non restituisce -1.
test
Come usare: hadoop fs -test -[ezd] URI
Opzioni:
-e Controlla se il file esiste. Restituisce 0 se presente.
-z Controlla se il file è 0 byte. Se sì, restituisce 0.
-d restituisce 1 se il percorso è una directory, altrimenti 0.
Esempio:
Hadoop FS -test -Nome file
Testo
Come usare: hadoop fs <src>-text
Invia il file sorgente in formato testo. I formati consentiti sono zip e TextRecordInputStream.
touchz
Come usare: hadoop fs -touchz URI [URI ...]
Crea un file vuoto con 0 byte.
Esempio:
Hadoop -Touchz Pathname
Valore di reso:
Restituisce con successo 0, non restituisce -1.
Link ufficiali:Il login del link ipertestuale è visibile.
|
Pubblicato su 05/07/2019 15:29:44
|
|
|
|
