Atsisiųskite failus tiesiai iš Hadoop HDFS

Mažai purvo · Paskelbta 2019-07-10 14:20:11

Didelių failų atsisiuntimas iš HDFS

Aš gavau didelį failą (apie 2 GB) DataInputStream iš HDFS kliento ir man reikia saugoti jį kaip failą mano pagrindinis kompiuteris.

Aš galvoju naudoti apache bendras IOUtils ir daryti kažką panašaus......

Prisijungimas matomas.

Aš ieškojau kitų sprendimų, kurie yra geresni nei šis. Pagrindinis rūpestis yra buferio naudojimas įvesties ir IOUtils.copy.

Didesniems nei 2 GB failams rekomenduojama naudoti IOUtils.copyLarge() (jei kalbame apie tą patį IOUtils: org.apache.commons.io.IOUtils)

"IOUtils" replika naudoja numatytąjį 4 Kb buferio dydį (nors kaip parametrą galite nurodyti kitą buferio dydį).

Skirtumas tarp copy() ir copyLarge() yra tas, kad jis pateikia rezultatą.

Kadangi copy(), jei srautas yra didesnis nei 2 GB, sėkmingai naudosite kopiją, tačiau rezultatas yra -1.

CopyLarge() rezultatas yra visiškai nukopijuotų baitų skaičius.

Daugiau dokumentacijos rasite čia:

Hipersaito prisijungimas matomas.

Kaip patikrinti, ar failas visiškai atsisiųstas naudojant "Spring Rest" API

Sukūriau paprastą REST API, kad aptarnaučiau failus iš hdfs (failai yra dideli ir nenoriu jų kopijuoti vietoje).

Noriu užregistruoti informaciją, kad failo atsisiuntimas sėkmingai baigtas, t.y. perskaityti visą srautą, bet nežinau, kaip. Galiu įrašyti tik informaciją, kad prasidėjo failo atsisiuntimas.

Bet kokia pagalba būtų labai dėkinga.

Prisijungimas matomas.

Galite pabandyti sukurti apvalkalą InputStream ir suaktyvinti kai kurias vėliavėles sraute close(close()).

Pavyzdžiui, galite naudoti ProxyInputStream kaip pagrindą:

Prisijungimas matomas.

[Šaltinis] Atsisiųskite failus tiesiai iš Hadoop HDFS

Susijusios žinutės

Peržiūrėtos sekcijos