Denne artikkelen er en speilartikkel om maskinoversettelse, vennligst klikk her for å hoppe til originalartikkelen.

Architect_Programmer_Code Landbruksnettverket»Arkitekt › Programmering › Java › Last ned filer direkte fra Hadoop HDFS
Utsikt: 16499|Svare: 0

[Kilde] Last ned filer direkte fra Hadoop HDFS

[Kopier lenke]
Publisert på 10.07.2019 14:20:11 | | |
Last ned store filer fra HDFS

Jeg fikk en stor fil (omtrent 2 GB) med DataInputStream fra HDFS-klienten, og jeg må lagre den som en fil på verten min.

Jeg vurderer å bruke Apache Common IOUtils og gjøre noe lignende......


Jeg har lett etter andre løsninger som er bedre enn denne. Hovedbekymringen er bruken av buffering i input og IOUtils.copy.

For filer større enn 2GB anbefales det å bruke IOUtils.copyLarge() (hvis vi snakker om samme IOUtils: org.apache.commons.io.IOUtils)

Replikaen i IOUtils bruker standard bufferstørrelse på 4Kb (selv om du kan spesifisere en annen bufferstørrelse som parameter).

Forskjellen mellom copy() og copyLarge() er at den returnerer resultatet.

Fordi copy(), hvis strømmen er større enn 2GB, vil du bruke kopien med suksess, men resultatet er -1.

For copyLarge() er resultatet antall bytes som er fullstendig kopiert.

Se mer i dokumentasjonen her:


Innloggingen med hyperkoblingen er synlig.



Hvordan sjekke om en fil er fullstendig lastet ned via Spring Rest API-et

Jeg laget et enkelt REST API for å levere filer fra hdfs (filene er store, og jeg vil ikke kopiere dem lokalt).

Jeg vil loggføre informasjonen som filnedlastingen fullførte, altså lese hele strømmen, men jeg vet ikke hvordan. Jeg kan bare registrere informasjonen om at filnedlastingen startet.

All hjelp tas imot med stor takk.


Du kan prøve å lage en wrapper på InputStream og utløse noen flagg på streamen close(close()).

For eksempel kan du bruke ProxyInputStream som grunnlag:








Foregående:Del noen få målte nettsider for å motta SMS-verifiseringskoder på nettet
Neste:JS--Plugin: Treutvikling og implementeringsvedlegg er nedlastbar!!

Relaterte innlegg
Ansvarsfraskrivelse:
All programvare, programmeringsmateriell eller artikler publisert av Code Farmer Network er kun for lærings- og forskningsformål; Innholdet ovenfor skal ikke brukes til kommersielle eller ulovlige formål, ellers skal brukerne bære alle konsekvenser. Informasjonen på dette nettstedet kommer fra Internett, og opphavsrettstvister har ingenting med dette nettstedet å gjøre. Du må fullstendig slette innholdet ovenfor fra datamaskinen din innen 24 timer etter nedlasting. Hvis du liker programmet, vennligst støtt ekte programvare, kjøp registrering, og få bedre ekte tjenester. Hvis det foreligger noen krenkelse, vennligst kontakt oss på e-post.
Mail To:help@itsvse.com