Coque FS
L’invocation de la commande Shell du système de fichiers (FS) doit prendre la forme de bin/hadoop <args>fs. Toutes les commandes de shell FS utilisent le chemin URI comme paramètre. Le format URI est scheme://authority/path. Pour les systèmes de fichiers HDFS, le schéma est hdfs, et pour les systèmes de fichiers locaux, le schéma est un fichier. Les paramètres du schéma et de l’autorité sont optionnels, et si non spécifiés, le schéma par défaut spécifié dans la configuration sera utilisé. Un fichier ou répertoire HDFS tel que /parent/child peut être représenté par hdfs ://namenode :namenodeport/parent/child, ou simplement /parent/child (en supposant que la valeur par défaut dans votre fichier de configuration soit namenode :namenodeport). La plupart des commandes FS Shell se comportent de manière similaire à leurs homologues Unix Shell, avec des différences qui seront notées dans la section suivante. Les informations d’erreur sont envoyées à stderr, et d’autres informations sont envoyées à stdout.
chatComment utiliser : hadoop fs -cat URI [URI ...]
Sortez le contenu du fichier spécifié par chemin vers stdout.
Exemple:
Hadoop FS -cat HDFS ://host1 :port1/file1 hdfs ://host2 :port2/file2
Hadoop FS -cat file:///file3 /user/hadoop/file4
Valeur de retour :
Retourne 0 avec succès, ne répond pas à -1.
chgrp
Comment utiliser : hadoop fs -chgrp [-R] GROUPE URI [URI ...] Changer l’association des groupes de fichiers. Avec -R, effectuez le changement récursivement à travers la structure de répertoires. L’utilisateur doit être le propriétaire des fichiers, ou alors un super-utilisateur. Des informations supplémentaires se trouvent dans le Guide utilisateur des permissions. -->
Changez le groupe auquel appartient le fichier. Utiliser -R effectuera le changement de manière récursive sous la structure des répertoires. L’utilisateur de la commande doit être le propriétaire du fichier ou un super-utilisateur. Pour plus d’informations, consultez le Guide utilisateur des permissions HDFS.
chmod
Utilisation : hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]
Changez les permissions d’un fichier. Utiliser -R effectuera le changement de manière récursive sous la structure des répertoires. L’utilisateur de la commande doit être le propriétaire du fichier ou un super-utilisateur. Pour plus d’informations, consultez le Guide utilisateur des permissions HDFS.
chown
Comment utiliser : hadoop fs -chown [-R] [PROPRIÉTAIRE][ :[GROUP]] URI [URI ]
Changez le propriétaire du fichier. Utiliser -R effectuera le changement de manière récursive sous la structure des répertoires. L’utilisateur de la commande doit être un super-utilisateur. Pour plus d’informations, consultez le Guide utilisateur des permissions HDFS.
copyFromLocal
Comment utiliser : hadoop fs -<localsrc>copyFromLocal URI
Sauf que le chemin source est un fichier local, similaire à la commande put.
copyToLocal
Utilisation : hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>
C’est similaire à la commande get, sauf que le chemin cible est un fichier local.
CP
Comment utiliser : hadoop fs -cp URI [URI ...] <dest>
Copiez les fichiers du chemin source vers le chemin de destination. Cette commande permet plusieurs chemins sources, auquel cas le chemin de destination doit être un répertoire.
Exemple:
hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2
hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir
Valeur de retour :
Retourne 0 avec succès, ne répond pas à -1.
du
Comment utiliser : hadoop fs -du URI [URI ...]
Affiche la taille de tous les fichiers du répertoire, ou lorsqu’un seul fichier est spécifié.
Exemple:
Hadoop FS -du /user/hadoop/dir1 /user/hadoop/file1 hdfs ://host :port/user/hadoop/dir1
Valeur de retour :
Retourne 0 avec succès, ne répond pas à -1.
dus
Comment utiliser : hadoop fs -<args>dus
Affiche la taille du fichier.
Effacer
Comment utiliser : Hadoop FS - expurger
Vide la poubelle de recyclage. Veuillez consulter la documentation de conception HDFS pour plus d’informations sur les caractéristiques de la poubelle de recyclage.
Avoir
Comment utiliser : hadoop fs -get [-ignorecrc] [-<src><localdst>crc ]
Copiez les fichiers dans votre système de fichiers local. Vous pouvez utiliser l’option -ignorecrc pour copier les fichiers qui ont échoué à la vérification CRC. Utilisez l’option -crc pour copier le fichier avec les informations CRC.
Exemple:
hadoop fs - get /user/hadoop/file localfile
Hadoop FS -Get HDFS ://host :port/user/hadoop/file localfile
Valeur de retour :
Retourne 0 avec succès, ne répond pas à -1.
getmerge
Comment utiliser : hadoop fs -getmerge <src> <localdst> [addnl]
Acceptez un répertoire source et un fichier cible en entrée, et connectez tous les fichiers du répertoire source au fichier cible local. Addnl est optionnel et précise qu’un saut de ligne est ajouté à la fin de chaque fichier.
ls
Comment utiliser : hadoop fs -ls <args>
S’il s’agit d’un fichier, les informations du fichier sont renvoyées dans le format suivant :
Nom <副本数> du fichier Taille du fichier Date de modification : Heure modifiée : Permissions ID utilisateur, ID de groupe et ID
S’il s’agit d’un répertoire, il renvoie une liste de ses sous-fichiers directs, comme dans Unix. La table des matières renvoie les informations suivantes :
Nom <dir> du répertoire Date modifiée Heure modifiée Permission ID utilisateur ID de groupe
Exemple:
Hadoop FS -LS /user/hadoop/file1 /user/hadoop/file2 hdfs ://host :port/user/hadoop/dir1 /nonexistentfile
Valeur de retour :
Retourne 0 avec succès, ne répond pas à -1.
LSR
Comment utiliser : hadoop fs -<args>lsr
L’ordre est le cas. Similaire à ls -R dans Unix.
MKDIR
Comment utiliser : hadoop fs -mkdir <paths>
Acceptez l’URI spécifié par le chemin comme paramètre pour créer ces répertoires. Il se comporte comme le mkdir -p d’Unix, qui crée des répertoires parents à tous les niveaux du chemin.
Exemple:
Hadoop FS -mkdir /utilisateur/hadoop/dir1 /utilisateur/hadoop/dir2
Hadoop FS -mkdir HDFs ://host1 :port1/user/hadoop/dir hdfs ://host2 :port2/user/hadoop/dir
Valeur de retour :
Retourne 0 avec succès, ne répond pas à -1.
déplacer depuis Local
Comment utiliser : dfs -moveFromLocal <src> <dst>
Affiche un message « non implémenté ».
MV
Utilisation : hadoop fs -mv URI [URI ...] <dest>
Déplacez les fichiers du chemin source vers le chemin de destination. Cette commande permet plusieurs chemins sources, auquel cas le chemin de destination doit être un répertoire. Il est interdit de déplacer des fichiers entre différents systèmes de fichiers.
Exemple:
hadoop fs -mv /user/hadoop/file1 /user/hadoop/file2
Hadoop FS -MV HDFS ://host :port/file1 hdfs ://host :port/file2 hdfs ://host :port/file3 hdfs ://host :port/dir1
Valeur de retour :
Retourne 0 avec succès, ne répond pas à -1.
put
Comment utiliser : hadoop fs - put <localsrc> ... <dst>
Copiez un ou plusieurs chemins sources du système de fichiers local vers le système de fichiers de destination. Il prend également en charge la lecture des entrées standard et leur écriture dans le système de fichiers cible.
hadoop fs - put localfile /user/hadoop/hadoopfile
hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir
Hadoop FS -put localfile HDFs ://host :port/hadoop/hadoopfile
Hadoop FS - put - HDFs ://host :port/hadoop/hadoopfile
Lisez l’entrée de l’entrée standard.
Valeur de retour :
Retourne 0 avec succès, ne répond pas à -1.
RM
Comment utiliser : hadoop fs -rm URI [URI ...]
Supprimez le fichier spécifié. Seuls les répertoires et fichiers non vides sont supprimés. Pour plus d’informations, consultez la commande rmr pour la suppression récursive.
Exemple:
Hadoop FS -RM HDFS ://host :port/file /user/hadoop/emptydir
Valeur de retour :
Retourne 0 avec succès, ne répond pas à -1.
RMR
Comment utiliser : hadoop fs -rmr URI [URI ...]
Supprimer.
Exemple:
Hadoop FS -RMR /user/hadoop/dir
Hadoop FS -RMR HDFS ://host :port/user/hadoop/dir
Valeur de retour :
Retourne 0 avec succès, ne répond pas à -1.
setrep
Comment utiliser : hadoop fs -setrep [-R<path>]
Changez le facteur de copie d’un fichier. L’option -R est utilisée pour modifier récursivement le facteur de copie de tous les fichiers du répertoire.
Exemple:
hadoop fs -setrep -w 3 -R /user/hadoop/dir1
Valeur de retour :
Retourne 0 avec succès, ne répond pas à -1.
Statistique
Utilisation : hadoop fs -stat URI [URI ...]
Rend des statistiques pour le chemin spécifié.
Exemple:
Hadoop FS -Path de statistique
Valeur de retour :
Retourne 0 avec succès, ne répond pas à -1.
queue
Comment utiliser : hadoop fs -tail [-f] URI
Sortez le contenu des derniers 1K octets du fichier dans stdout. Supportez l’option -f, le comportement est cohérent avec Unix.
Exemple:
Hadoop FS - Nom de chemin de queue
Valeur de retour :
Retourne 0 avec succès, ne répond pas à -1.
test
Comment utiliser : hadoop fs -test -[ezd] URI
Options:
-Vérifiez si le fichier existe. Retour de 0 s’il est présent.
-z Vérifiez si le fichier est à 0 octet. Si oui, ça ne retourne rien.
-d Retourne 1 si le chemin est un répertoire, sinon 0.
Exemple:
Hadoop FS -test -e Nom de fichier
SMS
Comment utiliser : hadoop fs <src>-text
Sortez le fichier source au format texte. Les formats autorisés sont zip et TextRecordInputStream.
touchz
Comment utiliser : hadoop fs -touchz URI [URI ...]
Créez un fichier vide avec 0 octet.
Exemple:
Hadoop -Touchz Nom de chemin
Valeur de retour :
Retourne 0 avec succès, ne répond pas à -1.
Liens officiels :La connexion hyperlientérée est visible.
|
Publié sur 05/07/2019 15:29:44
|
|
|
|
