Hadoop HDFS Shellコマンドロールアップ

クズども · 掲載地 2019/07/05 15:29:44

FSシェル

ファイルシステム(FS)シェルコマンドの呼び出しは、bin/hadoop fsの形で行うべき<args>です。すべてのFSシェルコマンドはURIパスをパラメータとして使用します。 URIのフォーマットは scheme://authority/path です。 HDFSファイルシステムの場合、schemeはhdfs、ローカルファイルシステムではschemeはファイルです。スキームと権限パラメータは任意であり、指定しない場合は設定で指定されたデフォルトのスキームが使用されます。 /parent/childのようなHDFSファイルやディレクトリは、hdfs://namenode:namenodeport/parent/child、または単に/parent/child(設定ファイルのデフォルト値がnamenode:namenodeportである場合)として表現できます。ほとんどのFS ShellコマンドはUnixのシェルコマンドと似た動作をしますが、以下のセクションで述べる違いがあります。エラー情報はstderrに出力され、その他の情報はstdoutに出力されます。

猫使い方:hadoop fs -cat URI [URI ...]

パス指定ファイルの内容をstdoutに出力します。

例：

Hadoop FS -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2
Hadoop FS -cat file:///file3 /user/hadoop/file4
リターンバリュー:
0を正常に返すが、-1を返すのに失敗。

CHGRP
使い方:hadoop fs -chgrp [-R] グループ URI [URI ...] ファイルのグループアソシエーションを変更してください。 -Rを使って、ディレクトリ構造を通じて再帰的に変更を行います。ユーザーはファイルの所有者でなければならず、そうでなければスーパーユーザーです。追加情報は権限ユーザーガイドに記載されています。 -->

ファイルが属するグループを変更してください。 -Rを使うとディレクトリ構造内で再帰的に変更が行われます。コマンドのユーザーはファイルの所有者かスーパーユーザーでなければなりません。詳細については、HDFS権限ユーザーガイドをご覧ください。

chmod
使い方:hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]

ファイルの権限を変更する。 -Rを使うとディレクトリ構造内で再帰的に変更が行われます。コマンドのユーザーはファイルの所有者かスーパーユーザーでなければなりません。詳細については、HDFS権限ユーザーガイドをご覧ください。

チャウン
使い方:hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI]

ファイルの所有者を変更してください。 -Rを使うとディレクトリ構造内で再帰的に変更が行われます。コマンドのユーザーはスーパーユーザーでなければなりません。詳細については、HDFS権限ユーザーガイドをご覧ください。

コピーフロムローカル
使い方:hadoop fs -copyFromLocal <localsrc> URI

ただし、ソースパスはputコマンドに似たローカルファイルです。

コピートゥローカル
使い方:hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>

getコマンドに似ていますが、ターゲットパスがローカルファイルです。

CP
使い方:hadoop fs -cp URI [URI ...] <dest>

送信元パスから宛先パスへファイルをコピーします。このコマンドは複数のソースパスを可能にし、その場合宛先パスはディレクトリでなければなりません。
例：

Hadoop FS -cp /user/hadoop/file1 /user/hadoop/file2
Hadoop FS -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir
リターンバリュー:

0を正常に返すが、-1を返すのに失敗。

杜
使い方:hadoop fs -du URI [URI ...]

ディレクトリ内のすべてのファイルのサイズを表示するか、1つのファイルだけが指定されている場合に表示します。
例：
Hadoop FS -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://host:port/user/hadoop/dir1
リターンバリュー:
0を正常に返すが、-1を返すのに失敗。

ダス
使い方:hadoop fs -<args>dus

ファイルのサイズを表示します。

抹消

使い方:Hadoop FS -消去

ゴミ箱を空にしてください。リサイクルビンの特徴については、HDFS設計図書をご参照ください。

取得

使い方:hadoop fs -get [-ignorecrc] [-crc <src> <localdst>]
ファイルをローカルのファイルシステムにコピーしてください。 -ignorecオプションを使ってCRC検証に失敗したファイルをコピーできます。 -crcオプションを使ってCRC情報と一緒にファイルをコピーしてください。

例：

Hadoop FS -get /user/hadoop/file localfile
Hadoop FS -get hdfs://host:port/user/hadoop/file localfile
リターンバリュー:

0を正常に返すが、-1を返すのに失敗。

ゲットマージ
使い方:hadoop fs -getmerge <src> <localdst> [addnl]

ソースディレクトリとターゲットファイルを入力として受け入れ、ソースディレクトリ内のすべてのファイルをローカルのターゲットファイルに接続します。 addnlは任意で、各ファイルの末尾に改行符を追加することを指定します。

LS
使い方:hadoop fs -ls <args>

ファイルの場合、ファイル情報は以下の形式で返されます。
ファイル名 <副本数> ファイルサイズ変更日:変更日:権限ユーザーID、グループID、ID
ディレクトリの場合は、Unixと同様に直接サブファイルのリストを返します。目次は以下の情報を返します。
ディレクトリ名 <dir> 修正日修正時間権限ユーザーID グループID
例：
Hadoop FS -ls /user/hadoop/file1 /user/hadoop/file2 hdfs://host:port/user/hadoop/dir1 /nonexistentfile
リターンバリュー:
0を正常に返すが、-1を返すのに失敗。

LSR

使い方:hadoop fs -<args>lsr
司令部。 Unixのls-Rに似ています。

MKDIR
使い方:hadoop fs -mkdir <paths>
パスで指定されたURIをパラメータとして受け入れて、これらのディレクトリを作成します。これはUnixのmkdir -pのように動作し、パス内のすべてのレベルで親ディレクトリを作成します。

例：

Hadoop FS -mkdir /user/hadoop/dir1 /user/hadoop/dir2
Hadoop FS -mkdir HDFS://host1:port1/user/hadoop/dir hdfs://host2:port2/user/hadoop/dir
リターンバリュー:

0を正常に返すが、-1を返すのに失敗。

movefrom Local(ローカルから)

使い方:dfs -moveFromLocal <src> <dst>

「実装されていません」というメッセージを出力します。

MV
使い方:hadoop fs -mv URI [URI ...] <dest>

ファイルをソースパスから宛先パスへ移動させます。このコマンドは複数のソースパスを可能にし、その場合宛先パスはディレクトリでなければなりません。異なるファイルシステム間でのファイルの移動は許可されていません。
例：

Hadoop FS -MV /user/hadoop/file1 /user/hadoop/file2
Hadoop FS -MV HDFS://host:port/file1 hdfs://host:port/file2 hdfs://host:port/file3 hdfs://host:port/dir1
リターンバリュー:

0を正常に返すが、-1を返すのに失敗。

プット
使い方:hadoop fs -put <localsrc> ... <dst>

ローカルファイルシステムから宛先ファイルシステムへ1つまたは複数のソースパスをコピーします。また、標準入力からの入力の読み込みとターゲットファイルシステムへの書き込みもサポートしています。
Hadoop FS -put localfile /user/hadoop/hadoopfile
Hadoop FS -put localfile1 localfile2 /user/hadoop/hadoopdir
Hadoop FS -put localfile hdfs://host:port/hadoop/hadoopfile
Hadoop FS -put - hdfs@host:port/hadoop/hadoopfile
標準入力から入力を読み取る。
リターンバリュー:

0を正常に返すが、-1を返すのに失敗。

RM
使い方:hadoop fs -rm URI [URI ...]

指定されたファイルを削除してください。空でないディレクトリとファイルのみが削除されます。詳細は再帰的削除に関するrmrコマンドを参照してください。
例：

Hadoop FS -rm HDFS://host:port/file /user/hadoop/emptydir
リターンバリュー:

0を正常に返すが、-1を返すのに失敗。

RMR
使い方:hadoop fs -rmr URI [URI ...]

削除。
例：

Hadoop FS -rmr /user/hadoop/dir
Hadoop FS -rmr hdfs://host:port/user/hadoop/dir
リターンバリュー:

0を正常に返すが、-1を返すのに失敗。

セットレップ
使い方:hadoop fs -setrep [-R<path>]

ファイルのコピーファクターを変更してください。 -Rオプションは、ディレクトリ内のすべてのファイルのコピー係数を再帰的に変更するために使われます。

例：

hadoop fs -setrep -w 3 -R /user/hadoop/dir1
リターンバリュー:

0を正常に返すが、-1を返すのに失敗。

スタッツ
使い方:hadoop fs -stat URI [URI ...]

指定された経路の統計値を返します。

例：

Hadoop FS -stat path
リターンバリュー:
0を正常に返すが、-1を返すのに失敗。

尾
使い方:hadoop fs -tail [-f] URI

ファイルの最後の1Kバイトの内容を出力してstdoutします。 -fオプションをサポートしてください。この動作はUnixに一致しています。

例：

Hadoop FS -tail パスネーム
リターンバリュー:
0を正常に返すが、-1を返すのに失敗。

試験
使い方:hadoop fs -test -[ezd] URI

オプション：
-e ファイルが存在するか確認してください。存在すれば0を返します。
-z ファイルが0バイトかどうか確認してください。もしそうなら、0を戻します。
-d パスがディレクトリであれば1を返し、そうでなければ0となります。
例：

Hadoop FS -test -e filename

テキスト
使い方:hadoop fs <src>-text
ソースファイルをテキスト形式で出力します。許可されているフォーマットはzipとTextRecordInputStreamです。

タッチズ
使い方:hadoop fs -touchz URI [URI ...]
0バイトの空ファイルを作成します。

例：

hadoop -touchz パスネーム
リターンバリュー:
0を正常に返すが、-1を返すのに失敗。

公式リンク:ハイパーリンクのログインが見えます。

Hadoop HDFS Shellコマンドロールアップ

関連記事

閲覧したセクション