FS Shell
Invocar el comando Shell del Sistema de Archivos (FS) debe hacerse en forma de bin/hadoop <args>fs. Todos los comandos de shell de FS usan la ruta URI como parámetro. El formato URI es scheme://authority/path. Para sistemas de archivos HDFS, esquema es hdfs, y para sistemas de archivos locales, esquema es archivo. Los parámetros del esquema y la autoridad son opcionales y, si no se especifican, se utilizará el esquema por defecto especificado en la configuración. Un archivo o directorio HDFS como /parent/child puede representarse como hdfs://namenode:namenodeport/parent/child, o simplemente /parent/child (suponiendo que el valor predeterminado en tu archivo de configuración sea namenode:namenodeport). La mayoría de los comandos de FS Shell se comportan de manera similar a sus homólogos de Unix Shell, con diferencias que se señalarán en la siguiente sección. La información de error se envia a stderr y otra información a stdout.
GatoCómo usar: hadoop fs -cat URI [URI ...]
Exporta el contenido del archivo especificado por ruta a stdout.
Ejemplo:
hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2
hadoop fs -cat file:///file3 /user/hadoop/file4
Valor de devolución:
Devuelve 0 con éxito, no devuelve -1.
chgrp
Cómo usar: hadoop fs -chgrp [-R] GRUPO URI [URI ...] Cambiar la asociación de grupos de archivos. Con -R, realiza el cambio recursivamente a través de la estructura de directorios. El usuario debe ser el propietario de los archivos, o bien un superusuario. Información adicional se encuentra en la Guía de Usuario de Permisos. -->
Cambia el grupo al que pertenece el archivo. Usar -R hará el cambio recursivamente bajo la estructura de directorios. El usuario del comando debe ser el propietario del archivo o un superusuario. Para más información, consulte la Guía de Usuario de Permisos HDFS.
chmod
Cómo usar: hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]
Cambia los permisos de un archivo. Usar -R hará el cambio recursivamente bajo la estructura de directorios. El usuario del comando debe ser el propietario del archivo o un superusuario. Para más información, consulte la Guía de Usuario de Permisos HDFS.
chown
Cómo usar: hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]
Cambia el propietario del archivo. Usar -R hará el cambio recursivamente bajo la estructura de directorios. El usuario del comando debe ser un superusuario. Para más información, consulte la Guía de Usuario de Permisos HDFS.
copyFromLocal
Cómo usar: hadoop fs -<localsrc>copyFromLocal URI
Excepto que la ruta de origen es un archivo local, similar al comando put.
copyToLocal
Cómo usar: hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>
Similar al comando get, excepto que la ruta de destino es un archivo local.
CP
Cómo usar: hadoop fs -cp URI [URI ...] <dest>
Copia archivos desde la ruta de origen a la ruta de destino. Este comando permite múltiples rutas de origen, en cuyo caso la ruta de destino debe ser un directorio.
Ejemplo:
hadoop fs -cp /usuario/hadoop/archivo1 /usuario/hadoop/archivo2
hadoop fs -cp /usuario/hadoop/archivo1 /usuario/hadoop/archivo2 /usuario/hadoop/dir
Valor de devolución:
Devuelve 0 con éxito, no devuelve -1.
du
Cómo usar: hadoop fs -du URI [URI ...]
Muestra el tamaño de todos los archivos en el directorio, o cuando solo se especifica uno.
Ejemplo:
Hadoop FS -Du /user/Hadoop/dir1 /User/Hadoop/File1 HDFS://host:port/User/Hadoop/DIR1
Valor de devolución:
Devuelve 0 con éxito, no devuelve -1.
dus
Cómo usar: hadoop fs -<args>dus
Muestra el tamaño del archivo.
Eliminar
Cómo usar: Hadoop FS - expurgar
Vacía el cubo de reciclaje. Por favor, consulte la documentación de diseño de HDFS para más información sobre las características del contenedor de reciclaje.
Obtener
Cómo usar: hadoop fs -get [-ignorecrc] [-<src><localdst>crc]
Copia los archivos a tu sistema de archivos local. Puedes usar la opción -ignorecrc para copiar archivos que fallaron la verificación CRC. Utiliza la opción -crc para copiar el archivo junto con la información CRC.
Ejemplo:
hadoop fs -get /user/hadoop/file localfile
hadoop fs -get hdfs://host:port/user/hadoop/file localfile
Valor de devolución:
Devuelve 0 con éxito, no devuelve -1.
getmerge
Cómo usar: hadoop fs -getmerge <src> <localdst> [addnl]
Acepta un directorio fuente y un archivo destino como entrada, y conecta todos los archivos del directorio fuente al archivo destino local. Addnl es opcional y especifica que se añade un salto de línea al final de cada archivo.
Ls
Cómo usar: hadoop fs -ls <args>
Si es un archivo, la información del archivo se devuelve en el siguiente formato:
Nombre del archivo <副本数> Tamaño del archivo Fecha de modificación: Hora de modificación: Permisos ID de usuario, ID de grupo e ID
Si es un directorio, devuelve una lista de sus subarchivos directos, igual que en Unix. El índice devuelve la siguiente información:
Nombre del <dir> directorio Fecha de modificación Hora modificada Permiso ID de usuario ID de grupo
Ejemplo:
Hadoop FS -LS /User/Hadoop/File1 /User/Hadoop/File2 HDFs://host:Port/User/Hadoop/Dir1 /NonExistentFile
Valor de devolución:
Devuelve 0 con éxito, no devuelve -1.
LSR
Cómo usar: hadoop fs -<args>lsr
Es un mando. Similar a ls -R en Unix.
MKDIR
Cómo usar: hadoop fs -mkdir <paths>
Acepta el URI especificado por el camino como parámetro para crear estos directorios. Se comporta como el mkdir -p de Unix, que crea directorios padres en todos los niveles del camino.
Ejemplo:
Hadoop FS -mkdir /usuario/hadoop/dir1 /usuario/hadoop/dir2
Hadoop FS -mkdir HDFs://host1:port1/User/Hadoop/Dir hdfs://host2:port2/User/Hadoop/Dir
Valor de devolución:
Devuelve 0 con éxito, no devuelve -1.
moverse desde Local
Cómo usar: dfs -moveFromLocal <src> <dst>
Muestra un mensaje de "no implementado".
MV
Cómo usar: hadoop fs -mv URI [URI ...] <dest>
Mueve archivos de la ruta de origen a la ruta de destino. Este comando permite múltiples rutas de origen, en cuyo caso la ruta de destino debe ser un directorio. No está permitido mover archivos entre diferentes sistemas de archivos.
Ejemplo:
Hadoop FS -MV /usuario/hadoop/archivo1 /usuario/hadoop/archivo2
hadoop fs -mv hdfs://host:port/file1 hdfs://host:port/file2 hdfs://host:port/file3 hdfs://host:port/dir1
Valor de devolución:
Devuelve 0 con éxito, no devuelve -1.
put
Cómo usar: hadoop fs -put <localsrc> ... <dst>
Copia una o varias rutas de origen desde el sistema de archivos local al sistema de archivos de destino. También soporta leer entradas de entradas estándar y escribirlas en el sistema de archivos de destino.
hadoop fs - put localfile /user/hadoop/hadoopfile
hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir
hadoop fs -put localfile hdfs://host:port/hadoop/hadoopfile
Hadoop FS -PUT - hdfs://host:port/hadoop/hadoopfile
Lee la entrada de la entrada estándar.
Valor de devolución:
Devuelve 0 con éxito, no devuelve -1.
RM
Cómo usar: hadoop fs -rm URI [URI ...]
Elimina el archivo especificado. Solo se eliminan los directorios y archivos no vacíos. Para más información, consulte el comando rmr para la eliminación recursiva.
Ejemplo:
Hadoop FS -RM HDFS://host:port/file /user/hadoop/emptydir
Valor de devolución:
Devuelve 0 con éxito, no devuelve -1.
RMR
Cómo usar: hadoop fs -rmr URI [URI ...]
Borrar.
Ejemplo:
Hadoop FS -RMR /Usuario/Hadoop/Dir
Hadoop FS -RMR HDFs://host:port/user/hadoop/dir
Valor de devolución:
Devuelve 0 con éxito, no devuelve -1.
setrep
Cómo usar: hadoop fs -setrep [-R<path>]
Cambia el factor de copia de un archivo. La opción -R se utiliza para cambiar recursivamente el factor de copia de todos los archivos del directorio.
Ejemplo:
hadoop fs -setrep -w 3 -R /user/hadoop/dir1
Valor de devolución:
Devuelve 0 con éxito, no devuelve -1.
Estadística
Cómo usar: hadoop fs -stat URI [URI ...]
Devuelve estadísticas para la ruta especificada.
Ejemplo:
Hadoop FS -Ruta de estadísticas
Valor de devolución:
Devuelve 0 con éxito, no devuelve -1.
Cola
Cómo usar: hadoop fs -cola [-f] URI
Saca el contenido de los últimos 1K bytes del archivo a stdout. Soporta la opción -f, el comportamiento es consistente con Unix.
Ejemplo:
Hadoop FS -nombre de ruta de cola
Valor de devolución:
Devuelve 0 con éxito, no devuelve -1.
prueba
Cómo usar: hadoop fs -test -[ezd] URI
Opciones:
-Comproba si el archivo existe. Devuelve 0 si está presente.
-z Comprueba si el archivo tiene 0 bytes. Si es así, devuelve 0.
-d Devuelve 1 si la ruta es un directorio, de lo contrario 0.
Ejemplo:
Hadoop FS -test -e Filename
Mensaje de texto
Cómo usar: hadoop fs <src>-text
Saca el archivo fuente en formato de texto. Los formatos permitidos son zip y TextRecordInputStream.
touchz
Cómo usar: hadoop fs -touchz URI [URI ...]
Crea un archivo vacío con 0 bytes.
Ejemplo:
nombre de ruta hadoop -touchz
Valor de devolución:
Devuelve 0 con éxito, no devuelve -1.
Enlaces oficiales:El inicio de sesión del hipervínculo es visible.
|
Publicado en 5/7/2019 15:29:44
|
|
|
|
