HadoopのAPI操作 - HDFS

クズども · 掲載地 2019/07/05 16:33:58

1. 依存関係を導入する

注意:jarパッケージを手動でインポートする必要がある場合は、HDFSのjarパッケージがHadoopインストールディレクトリの共有----

2. 窓辺の開発の説明

Linux上でHadoopアプリケーションを開発することが推奨されており、互換性の問題はありません。 Windows上でクライアントアプリケーションを開発したい場合は、以下の環境を設定する必要があります:

A. Windowsのディレクトリ内のHadoopインストールパッケージを解凍する

B. インストールパッケージ内のライブラリとbinディレクトリを、対応するWindowsバージョン向けにコンパイルされたローカルライブラリに置き換える

C. ウィンドウシステムのHADOOP_HOMEを、解凍したインストールパッケージを指すように設定します

D. HadoopのbinディレクトリをWindowsシステムのパス変数に追加する

JavaでHDFSを運用するには、まずクライアントインスタンスを取得する必要があります

ログインが見えます。

操作対象はHDFSなので、得られるfsオブジェクトはDistributedFileSystemのインスタンスであるべきです。

メソッドを入手してください:特定のインスタンスクライアントクラスはどこから来るのか?

- confのパラメータfs.defaultFSのいずれかの設定値から判断すると;

コード内でfs.defaultFSを指定しておらず、プロジェクトクラスパスに対応する構成が示されていない場合、confのデフォルト値はhadoop jarパッケージのcore-default.xmlから得られ、デフォルト値は file:/// となります。この場合、取得はDistributedFileSystemのインスタンスではなく、ローカルファイルシステムのクライアントオブジェクトとなります。

文書の追加、削除、修正および検査

ログインが見えます。

ストリーム経由でHDFSにアクセスします

ログインが見えます。

[出典] HadoopのAPI操作 - HDFS

関連記事

閲覧したセクション