FS Shell
Invocar o comando Shell do Sistema de Arquivos (FS) deve ser feito na forma bin/hadoop <args>fs. Todos os comandos do shell do FS usam o caminho do URI como parâmetro. O formato URI é scheme://authority/path. Para sistemas de arquivos HDFS, esquema é hdfs, e para sistemas de arquivos locais, esquema é arquivo. Os parâmetros do esquema e da autoridade são opcionais e, se não especificados, o esquema padrão especificado na configuração será utilizado. Um arquivo ou diretório HDFS como /parent/child pode ser representado como hdfs://namenode:namenodeport/parent/child, ou simplesmente /parent/child (assumindo que o valor padrão no seu arquivo de configuração seja namenode:namenodeport). A maioria dos comandos do FS Shell se comporta de forma semelhante aos seus equivalentes do Unix Shell, com diferenças que serão mencionadas na seção seguinte. As informações de erro são enviadas para o stderr, e outras são enviadas para o stdout.
gatoComo usar: hadoop fs -cat URI [URI ...]
Saia o conteúdo do arquivo especificado pelo caminho para o stdout.
Exemplo:
Hadoop FS -cat HDFs://host1:port1/file1 hdfs://host2:port2/file2
hadoop fs -cat file:///file3 /user/hadoop/file4
Valor de retorno:
Retorna 0 com sucesso, não retorna -1.
chgrp
Como usar: hadoop fs -chgrp [-R] GRUPO URI [URI ...] Mude a associação de arquivos do grupo. Com -R, faça a alteração recursivamente através da estrutura de diretórios. O usuário deve ser o proprietário dos arquivos, ou então um superusuário. Informações adicionais estão no Guia do Usuário de Permissões. -->
Mude o grupo ao qual o arquivo pertence. Usar -R fará a alteração recursivamente sob a estrutura de diretórios. O usuário do comando deve ser o proprietário do arquivo ou um superusuário. Para mais informações, consulte o Guia do Usuário de Permissões HDFS.
chmod
Como usar: hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]
Mude as permissões de um arquivo. Usar -R fará a alteração recursivamente sob a estrutura de diretórios. O usuário do comando deve ser o proprietário do arquivo ou um superusuário. Para mais informações, consulte o Guia do Usuário de Permissões HDFS.
chown
Como usar: hadoop fs -chown [-R] [PROPRIETÁRIO][:[GRUPO]] URI [URI ]
Mude o proprietário do arquivo. Usar -R fará a alteração recursivamente sob a estrutura de diretórios. O usuário do comando deve ser um superusuário. Para mais informações, consulte o Guia do Usuário de Permissões HDFS.
copyFromLocal
Como usar: hadoop fs -<localsrc>copyFromLocal URI
Exceto que o caminho de origem é um arquivo local, semelhante ao comando put.
copyToLocal
Como usar: hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>
Semelhante ao comando get, exceto que o caminho de destino é um arquivo local.
CP
Como usar: hadoop fs -cp URI [URI ...] <dest>
Copie arquivos do caminho de origem para o caminho de destino. Esse comando permite múltiplos caminhos de origem, caso em que o caminho de destino deve ser um diretório.
Exemplo:
hadoop fs -cp /usuário/hadoop/arquivo1 /usuário/hadoop/arquivo2
hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir
Valor de retorno:
Retorna 0 com sucesso, não retorna -1.
du
Como usar: hadoop fs -du URI [URI ...]
Exibe o tamanho de todos os arquivos no diretório, ou quando apenas um arquivo é especificado.
Exemplo:
Hadoop FS -Du /User/Hadoop/Dir1 /User/Hadoop/File1 HDFs://host:Port/User/Hadoop/Dir1
Valor de retorno:
Retorna 0 com sucesso, não retorna -1.
dus
Como usar: hadoop fs -<args>dus
Exibe o tamanho do arquivo.
expurgar
Como usar: Hadoop FS - expurgar
Esvazie a lixeira de reciclagem. Por favor, consulte a documentação de projeto do HDFS para mais informações sobre as características da lixeira de reciclagem.
Obter
Como usar: hadoop fs -get [-ignorecrc] [-<src><localdst>crc]
Copie arquivos para o seu sistema de arquivos local. Você pode usar a opção -ignorecrc para copiar arquivos que falharam na verificação CRC. Use a opção -crc para copiar o arquivo junto com as informações do CRC.
Exemplo:
hadoop fs - get /user/hadoop/file localfile
hadoop fs -get hdfs://host:port/user/hadoop/file localfile
Valor de retorno:
Retorna 0 com sucesso, não retorna -1.
getmerge
Como usar: hadoop fs -getmerge <src> <localdst> [addnl]
Aceite um diretório de origem e um arquivo de destino como entrada, e conecte todos os arquivos do diretório de origem ao arquivo de destino local. Addnl é opcional e especifica que um quebra de linha é adicionado ao final de cada arquivo.
ls
Como usar: hadoop fs -ls <args>
Se for um arquivo, a informação do arquivo é retornada no seguinte formato:
Nome <副本数> do arquivo Tamanho do arquivo Data de Modificação: Hora Modificada: Permissões ID de Usuário, ID de Grupo e ID
Se for um diretório, ele retorna uma lista de seus subarquivos diretos, assim como no Unix. O sumário retorna as seguintes informações:
Nome <dir> do diretório Data Modificada Hora Modificada Permissão ID do Usuário ID do Grupo
Exemplo:
Hadoop FS -LS /user/hadoop/file1 /user/hadoop/file2 hdfs://host:port/user/hadoop/dir1 /nonexistentfile
Valor de retorno:
Retorna 0 com sucesso, não retorna -1.
LSR
Como usar: hadoop fs -<args>lsr
Ls é comando. Semelhante ao ls -R no Unix.
mkdir
Como usar: hadoop fs -mkdir <paths>
Aceite o URI especificado pelo caminho como um parâmetro para criar esses diretórios. Ele se comporta como o mkdir -p do Unix, que cria diretórios pais em todos os níveis do caminho.
Exemplo:
hadoop fs -mkdir /usuário/hadoop/dir1 /usuário/hadoop/dir2
Hadoop FS -mkdir HDFs://host1:port1/User/Hadoop/Dir HDFs://host2:Port2/User/Hadoop/Dir
Valor de retorno:
Retorna 0 com sucesso, não retorna -1.
mova do Local
Como usar: dfs -moveFromLocal <src> <dst>
Apresenta uma mensagem "não implementado".
MV
Como usar: hadoop fs -mv URI [URI ...] <dest>
Mova arquivos do caminho de origem para o caminho de destino. Esse comando permite múltiplos caminhos de origem, caso em que o caminho de destino deve ser um diretório. Não é permitido mover arquivos entre diferentes sistemas de arquivos.
Exemplo:
hadoop fs -mv /usuário/hadoop/arquivo1 /usuário/hadoop/arquivo2
hadoop fs -mv hdfs://host:port/file1 hdfs://host:port/file2 hdfs://host:port/file3 hdfs://host:port/dir1
Valor de retorno:
Retorna 0 com sucesso, não retorna -1.
Coloque
Como usar: hadoop fs - put <localsrc> ... <dst>
Copie um ou vários caminhos de origem do sistema de arquivos local para o sistema de arquivos de destino. Também suporta a leitura de entradas de entradas padrão e a gravação no sistema de arquivos de destino.
hadoop fs - coloque localfile /user/hadoop/hadoopfile
hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir
Hadoop FS -put localfile HDFs://host:port/hadoop/hadoopfile
Hadoop FS -put - HDFS://host:port/hadoop/hadoopfile
Leia a entrada da entrada padrão.
Valor de retorno:
Retorna 0 com sucesso, não retorna -1.
RM
Como usar: hadoop fs -rm URI [URI ...]
Exclua o arquivo especificado. Apenas diretórios e arquivos não vazios são excluídos. Para mais informações, consulte o comando rmr para exclusão recursiva.
Exemplo:
Hadoop FS -RM HDFs://host:port/file /user/hadoop/emptydir
Valor de retorno:
Retorna 0 com sucesso, não retorna -1.
RMR
Como usar: hadoop fs -rmr URI [URI ...]
Delete.
Exemplo:
hadoop FS -RMR /user/hadoop/dir
Hadoop FS -RMR HDFs://host:port/user/hadoop/dir
Valor de retorno:
Retorna 0 com sucesso, não retorna -1.
setrep
Como usar: hadoop fs -setrep [-R<path>]
Mude o fator de cópia de um arquivo. A opção -R é usada para alterar recursivamente o fator de cópia de todos os arquivos no diretório.
Exemplo:
hadoop fs -setrep -w 3 -R /user/hadoop/dir1
Valor de retorno:
Retorna 0 com sucesso, não retorna -1.
Estatística
Como usar: hadoop fs -stat URI [URI ...]
Retorna estatísticas para o caminho especificado.
Exemplo:
Hadoop FS -Caminho de Status
Valor de retorno:
Retorna 0 com sucesso, não retorna -1.
cauda
Como usar: hadoop fs -cauda [-f] URI
Envie o conteúdo dos últimos 1K bytes do arquivo para o stdout. Suporte a opção -f, o comportamento é consistente com o Unix.
Exemplo:
Hadoop FS -nome do caminho da cauda
Valor de retorno:
Retorna 0 com sucesso, não retorna -1.
teste
Como usar: hadoop fs -test -[ezd] URI
Opções:
-Verifique se o arquivo existe. Retorna 0 se estiver presente.
-z Verifique se o arquivo tem 0 bytes. Se sim, retorna 0.
-d Retorna 1 se o caminho for um diretório, caso contrário 0.
Exemplo:
Hadoop FS -test -e nome do arquivo
Texto
Como usar: hadoop fs <src>-texto
Saia o arquivo fonte em formato de texto. Os formatos permitidos são zip e TextRecordInputStream.
touchz
Como usar: hadoop fs -touchz URI [URI ...]
Crie um arquivo vazio com 0 bytes.
Exemplo:
Hadoop -Touchz Nome do Caminho
Valor de retorno:
Retorna 0 com sucesso, não retorna -1.
Links oficiais:O login do hiperlink está visível.
|
Publicado em 05/07/2019 15:29:44
|
|
|
|
