Prenesite datoteke neposredno s Hadoop HDFS

Mala drhal · Objavljeno na 10. 07. 2019 14:20:11

Prenesite velike datoteke iz HDFS

Prejel sem veliko datoteko (približno 2GB) DataInputStream iz HDFS odjemalca in jo moram shraniti kot datoteko na gostitelju.

Razmišljam, da bi uporabil apache common IOUtils in naredil nekaj takega......

Prijava je vidna.

Iskal sem druge rešitve, ki so boljše od te. Glavna skrb je uporaba medpomnjenja v vhodnih in IOUtils.copy.

Za datoteke večje od 2GB je priporočljivo uporabiti IOUtils.copyLarge() (če govorimo o istih IOUtils: org.apache.commons.io.IOUtils)

Replika v IOUtils uporablja privzeto velikost medpomnilnika 4Kb (čeprav lahko kot parameter določite še eno velikost medpomnilnika).

Razlika med copy() in copyLarge() je v tem, da vrne rezultat.

Ker copy(), če je tok večji od 2GB, boste uspešno uporabili kopijo, vendar je rezultat -1.

Za copyLarge() je rezultat število bajtov, ki so popolnoma kopirani.

Več v dokumentaciji si lahko ogledate tukaj:

Prijava do hiperpovezave je vidna.

Kako preveriti, ali je datoteka popolnoma prenesena preko Spring Rest API-ja

Ustvaril sem preprost REST API za serviranje datotek iz hdfs (datoteke so velike in jih nočem kopirati lokalno).

Želim zabeležiti informacije, da je prenos datoteke uspešno zaključen, torej prebrati celoten tok, vendar ne vem kako. Lahko zabeležim le informacijo, da se je prenos datoteke začel.

Vsaka pomoč bi bila zelo dobrodošla.

Prijava je vidna.

Lahko poskusiš ustvariti wrapper na InputStreamu in sprožiš nekaj zastavic na streamu close(close()).

Na primer, lahko uporabite ProxyInputStream kot osnovo:

Prijava je vidna.

[Vir] Prenesite datoteke neposredno s Hadoop HDFS

Sorodne objave

Ogledi odsekov