Download bestanden rechtstreeks van Hadoop HDFS

Klein tuig · Geplaatst op 10-07-2019 14:20:11

Download grote bestanden van HDFS

Ik heb een groot bestand (ongeveer 2GB) DataInputStream van de HDFS-client gekregen en ik moet het als bestand op mijn host opslaan.

Ik denk eraan om Apache Common IOUtils te gebruiken en iets dergelijks te doen......

Inloggen is zichtbaar.

Ik ben op zoek naar andere oplossingen die beter zijn dan deze. De belangrijkste zorg is het gebruik van buffering in input en IOUtils.copy.

Voor bestanden groter dan 2GB wordt aanbevolen om IOUtils.copyLarge() te gebruiken (als we het over dezelfde IOUtils hebben: org.apache.commons.io.IOUtils)

De replica in IOUtils gebruikt de standaard buffergrootte van 4Kb (hoewel je een andere buffergrootte als parameter kunt specificeren).

Het verschil tussen copy() en copyLarge() is dat het resultaat wordt teruggegeven.

Omdat copy(), als de stream groter is dan 2GB, gebruik je de copy succesvol, maar het resultaat is -1.

Voor copyLarge() is het resultaat het aantal bytes dat volledig gekopieerd is.

Zie hier meer in de documentatie:

De hyperlink-login is zichtbaar.

Hoe controleer je of een bestand volledig is gedownload via de Spring Rest API

Ik heb een eenvoudige REST API gemaakt om bestanden van hdfs te serveren (de bestanden zijn groot en ik wil ze niet lokaal kopiëren).

Ik wil de informatie registreren die de bestandsdownload succesvol heeft afgerond, oftewel de hele stream lezen, maar ik weet niet hoe. Ik kan alleen de informatie registreren dat het downloaden van het bestand is begonnen.

Alle hulp wordt zeer gewaardeerd.

Inloggen is zichtbaar.

Je kunt proberen een wrapper op de InputStream te maken en wat vlaggen op de stream close(close()) te triggeren.

Je kunt bijvoorbeeld ProxyInputStream als basis gebruiken:

Inloggen is zichtbaar.

[Bron] Download bestanden rechtstreeks van Hadoop HDFS

Gerelateerde berichten

Secties bekeken