Ladda ner filer direkt från Hadoop HDFS

Lilla avskum · Publicerad på 2019-07-10 14:20:11

Ladda ner stora filer från HDFS

Jag fick en stor fil (ungefär 2GB) DataInputStream från HDFS-klienten och jag behöver lagra den som en fil på min värd.

Jag funderar på att använda Apache Common IOUtils och göra något i stil med detta......

Inloggningen är synlig.

Jag har letat efter andra lösningar som är bättre än denna. Den största oron är användningen av buffring i input och IOUtils.copy.

För filer större än 2GB rekommenderas att använda IOUtils.copyLarge() (om vi talar om samma IOUtils: org.apache.commons.io.IOUtils)

Replikan i IOUtils använder standardbuffertstorleken 4Kb (även om du kan ange en annan buffertstorlek som parameter).

Skillnaden mellan copy() och copyLarge() är att den returnerar resultatet.

Eftersom copy(), om strömmen är större än 2GB, kommer du att använda kopieringen framgångsrikt, men resultatet blir -1.

För copyLarge() är resultatet antalet byte som är fullt kopierade.

Se mer i dokumentationen här:

Inloggningen med hyperlänken är synlig.

Hur man kontrollerar om en fil är helt nedladdad via Spring Rest API:et

Jag skapade ett enkelt REST API för att leverera filer från hdfs (filerna är stora och jag vill inte kopiera dem lokalt).

Jag vill logga informationen som filnedladdningen slutförde, alltså läsa hela strömmen, men jag vet inte hur. Jag kan bara registrera informationen om att filnedladdningen startade.

All hjälp skulle uppskattas mycket.

Inloggningen är synlig.

Du kan prova att skapa en wrapper på InputStream och trigga några flaggor på streamen close(close()).

Till exempel kan du använda ProxyInputStream som grund:

Inloggningen är synlig.

[Källa] Ladda ner filer direkt från Hadoop HDFS

Relaterade inlägg

Avsnitt som ses