Hadoop HDFSから直接ファイルをダウンロードします

クズども · 掲載地 2019/07/10 14:20:11

HDFSから大きなファイルをダウンロードしてください

HDFSクライアントから約2GBの大きなDataInputStreamファイルを取得し、ホストにファイルとして保存する必要があります。

私はapacheの共通IOUtilsを使って、こういうことをしようかと考えています......

ログインが見えます。

この方法よりも良い解決策を探していました。主な懸念は、入力およびIOUtils.copyにおけるバッファリングの使用です。

2GBを超えるファイルについてはIOUtils.copyLarge()の使用が推奨されます(同じIOUtilsの場合:org.apache.commons.io.IOUtils)

IOUtilsのレプリカはデフォルトのバッファサイズ4Kbを使用します(ただし、パラメータとして別のバッファサイズを指定することも可能です)。

copy() と copyLarge() の違いは、結果を返すことです。

copy()のため、ストリームが2GBを超えるとコピーは正常に使えますが、結果は-1になります。

copyLarge() の場合、結果は完全にコピーされたバイト数となります。

詳細はこちらのドキュメントをご覧ください:

ハイパーリンクのログインが見えます。

Spring Rest APIを通じてファイルが完全にダウンロードされているかどうかを確認する方法

HDFSからファイルを提供するための簡単なREST APIを作成しました(ファイルが大きいのでローカルにコピーしたくありません)。

ファイルダウンロードが成功した情報を記録したいのですが、つまりストリーム全体を読みたいのですが、やり方がわかりません。ファイルダウンロードが始まった情報だけを記録できます。

どんな助けでも大変ありがたいです。

ログインが見えます。

InputStreamでラッパーを作成し、streamのclose(close())でフラグをトリガーしてみてください。

例えば、ProxyInputStreamを基準に使うことができます:

ログインが見えます。

[出典] Hadoop HDFSから直接ファイルをダウンロードします

関連記事

閲覧したセクション