Stáhněte soubory přímo z Hadoop HDFS

Malý hajzl · Zveřejněno 10.07.2019 14:20:11

Stahujte velké soubory z HDFS

Získal jsem velký soubor (asi 2GB) DataInputStream z HDFS klienta a potřebuji ho uložit jako soubor na svém hostiteli.

Přemýšlím o použití apache common IOUtils a udělám něco takového......

Přihlášení je viditelné.

Hledal jsem další řešení, která jsou lepší než toto. Hlavní obavou je použití bufferování ve vstupu a IOUtils.copy.

Pro soubory větší než 2GB se doporučuje použít IOUtils.copyLarge() (pokud mluvíme o stejných IOUtils: org.apache.commons.io.IOUtils)

Replika v IOUtils používá výchozí velikost bufferu 4Kb (i když můžete jako parametr zadat jinou velikost bufferu).

Rozdíl mezi copy() a copyLarge() je v tom, že vrací výsledek.

Protože copy(), pokud je stream větší než 2GB, úspěšně použijete copy, ale výsledek je -1.

Pro copyLarge() je výsledkem počet bajtů, které jsou plně zkopírovány.

Více informací najdete v dokumentaci zde:

Přihlášení k hypertextovému odkazu je viditelné.

Jak zkontrolovat, zda je soubor plně stažen přes Spring Rest API

Vytvořil jsem jednoduché REST API pro servírování souborů z hdfs (soubory jsou velké a nechci je kopírovat lokálně).

Chci zaznamenat informace, že stažení souboru bylo úspěšně dokončeno, tedy přečíst celý stream, ale nevím jak. Mohu zaznamenat jen informaci, že stahování souboru začalo.

Jakákoli pomoc by byla velmi oceněna.

Přihlášení je viditelné.

Můžete zkusit vytvořit wrapper na InputStream a spustit nějaké příznaky na streamu close(close()).

Například můžete použít ProxyInputStream jako základ:

Přihlášení je viditelné.

[Zdroj] Stáhněte soubory přímo z Hadoop HDFS

Související příspěvky

Prohlížené sekce