Unduh file langsung dari Hadoop HDFS

Sampah kecil · Diposting pada 10/07/2019 14.20.11

Unduh file besar dari HDFS

Saya mendapatkan file besar (sekitar 2GB) DataInputStream dari klien HDFS dan saya perlu menyimpannya sebagai file di host saya.

Saya berpikir untuk menggunakan IOUtils umum apache dan melakukan sesuatu seperti ini......

Login terlihat.

Saya telah mencari solusi lain yang lebih baik dari yang satu ini. Perhatian utama adalah penggunaan buffering dalam input dan IOUtils.copy.

Untuk file yang lebih besar dari 2GB, disarankan untuk menggunakan IOUtils.copyLarge() (jika kita berbicara tentang IOUtils yang sama: org.apache.commons.io.IOUtils)

Replika di IOUtils menggunakan ukuran buffer default 4Kb (meskipun Anda dapat menentukan ukuran buffer lain sebagai parameter).

Perbedaan antara copy() dan copyLarge() adalah mengembalikan hasilnya.

Karena copy(), jika alirannya lebih besar dari 2GB, Anda akan berhasil menggunakan salinan, tetapi hasilnya adalah -1.

Untuk copyLarge() hasilnya adalah jumlah byte yang disalin sepenuhnya.

Lihat lebih lanjut dalam dokumentasi di sini:

Login hyperlink terlihat.

Cara memeriksa apakah file diunduh sepenuhnya melalui Spring Rest API

Saya membuat REST API sederhana untuk menyajikan file dari hdfs (filenya besar dan saya tidak ingin menyalinnya secara lokal).

Saya ingin mencatat informasi bahwa unduhan file berhasil diselesaikan, yaitu membaca seluruh aliran, tetapi saya tidak tahu caranya. Saya hanya dapat merekam informasi bahwa unduhan file dimulai.

Bantuan apa pun akan sangat dihargai.

Login terlihat.

Anda dapat mencoba membuat pembungkus di InputStream dan memicu beberapa bendera pada aliran close(close()).

Misalnya, Anda dapat menggunakan ProxyInputStream sebagai dasar:

Login terlihat.

[Sumber] Unduh file langsung dari Hadoop HDFS

Pos terkait

Bagian yang dilihat