Скачивайте файлы напрямую с Hadoop HDFS

Маленькая мразь · Опубликовано 10.07.2019 14:20:11

Скачайте большие файлы с HDFS

Я получил большой файл (около 2 ГБ) DataInputStream от HDFS-клиента, и мне нужно хранить его как файл на моём хосте.

Я подумываю использовать Apache Common IOUtils и сделать что-то подобное......

Вход виден.

Я ищу другие решения, которые лучше этого. Основная проблема — использование буферизации на входе и IOUtils.copy.

Для файлов больше 2 ГБ рекомендуется использовать IOUtils.copyLarge() (если говорить об одних и тех же IOUtils: org.apache.commons.io.IOUtils)

Реплика в IOUtils использует стандартный размер буфера 4 Кб (хотя можно указать другой размер буфера как параметр).

Разница между copy() и copyLarge() в том, что он возвращает результат.

Потому что copy(), если поток больше 2GB, вы успешно используете копию, но результат — -1.

Для copyLarge() результатом является количество полностью скопированных байт.

Подробнее в документации здесь:

Вход по гиперссылке виден.

Как проверить, полностью ли файл загружен через API Spring Rest

Я создал простой REST API для подачи файлов с HDFS (файлы большие, и я не хочу копировать их локально).

Я хочу записать информацию о том, что загрузка файла прошла успешно, то есть прочитать весь поток, но не знаю как. Я могу записать только ту информацию, с которой началась загрузка файла.

Буду очень признателен за любую помощь.

Вход виден.

Можно попробовать создать оболочку на InputStream и активировать некоторые флаги на потоке close(close()).

Например, вы можете использовать ProxyInputStream в качестве основы:

Вход виден.

[Источник] Скачивайте файлы напрямую с Hadoop HDFS

Связанные публикации

Просмотренные разделы