Изтегляне на файлове директно от Hadoop HDFS

Малък боклук · Публикувано в 10.07.2019 г. 14:20:11 ч.

Изтеглете големи файлове от HDFS

Получих голям файл (около 2GB) DataInputStream от HDFS клиента и трябва да го съхраня като файл на моя хост.

Мисля да използвам Apache Common IOUtils и да направя нещо подобно......

Входът е видим.

Търся други решения, които са по-добри от това. Основната грижа е използването на буфериране при входа и IOUtils.copy.

За файлове по-големи от 2GB се препоръчва да се използва IOUtils.copyLarge() (ако говорим за същите IOUtils: org.apache.commons.io.IOUtils)

Репликата в IOUtils използва стандартния размер на буфера 4Kb (въпреки че можеш да зададеш друг размер на буфера като параметър).

Разликата между copy() и copyLarge() е, че връща резултата.

Защото copy(), ако потокът е по-голям от 2GB, ще използвате копието успешно, но резултатът е -1.

За copyLarge() резултатът е броят на напълно копираните байтове.

Вижте повече в документацията тук:

Входът към хиперлинк е видим.

Как да проверите дали даден файл е напълно изтеглен чрез Spring Rest API

Създадох прост REST API за обслужване на файлове от hdfs (файловете са големи и не искам да ги копирам локално).

Искам да записвам информацията, която файлът е завършил успешно, т.е. да прочета целия поток, но не знам как. Мога да запиша само информацията, от която е започнало изтеглянето на файла.

Всякаква помощ ще бъде много оценена.

Входът е видим.

Можеш да опиташ да създадеш wrapper на InputStream и да задействаш някои флагове на потока close(close(close()).

Например, можете да използвате ProxyInputStream като основа:

Входът е видим.

[Източник] Изтегляне на файлове директно от Hadoop HDFS

Свързани публикации

Разгледани секции