Dosyaları doğrudan Hadoop HDFS'den indirin

Küçük · Yayınlandı 10.07.2019 14:20:11

HDFS'den büyük dosyalar indirin

HDFS istemcisinden yaklaşık 2GB büyük bir DataInputStream dosyası aldım ve bunu hostumda dosya olarak saklamam gerekiyor.

Apache common IOUtils kullanmayı ve buna benzer bir şey yapmayı düşünüyorum......

Giriş görünür.

Bundan daha iyi başka çözümler arıyordum. Ana endişe, giriş ve IOUtils.copy dosyalarında tamponlama kullanımıdır.

2GB'dan büyük dosyalar için IOUtils.copyLarge() kullanılması önerilir (aynı IOUtils'ten bahsediyorsak: org.apache.commons.io.IOUtils)

IOUtils'teki replika, varsayılan tampon boyutunu 4Kb kullanır (ancak parametre olarak başka bir tampon boyutu belirtebilirsiniz).

copy() ile copyLarge() arasındaki fark, sonucu döndürmesidir.

Çünkü copy(), akış 2GB'dan büyükse, kopyayı başarıyla kullanırsınız, ancak sonuç -1 olur.

copyLarge() için sonuç, tamamen kopyalanmış bayt sayısıdır.

Daha fazlasını buradaki dokümantasyonda bulabilirsiniz:

Bağlantı girişi görünür.

Bir dosyanın Spring Rest API üzerinden tamamen indirilip indirilmediğini nasıl kontrol edilir?

HDFS'den dosya sunmak için basit bir REST API oluşturdum (dosyalar büyük ve yerel olarak kopyalamak istemiyorum).

Dosya indirmenin başarıyla tamamlandığını kaydetmek istiyorum, yani tüm yayını okumak istiyorum ama nasıl yapacağımı bilmiyorum. Dosya indirmenin başladığı bilgileri kaydedebiliyorum.

Her türlü yardım çok değerli olur.

Giriş görünür.

InputStream üzerinde bir wrapper oluşturup akış close(close()) üzerinde bazı bayrakları tetikleyebilirsin.

Örneğin, ProxyInputStream'i temel olarak kullanabilirsiniz:

Giriş görünür.

[Kaynak] Dosyaları doğrudan Hadoop HDFS'den indirin

İlgili Yazılar

Görüntülenen bölümler