Pobierz pliki bezpośrednio z Hadoop HDFS

Mały śmiecie · Opublikowano 10.07.2019 14:20:11

Pobierz duże pliki z HDFS

Dostałem duży plik (około 2GB) DataInputStream z klienta HDFS i muszę go przechować jako plik na moim hostze.

Myślę o użyciu common IOUtils Apache i zrobieniu czegoś takiego......

Logowanie jest widoczne.

Szukam innych rozwiązań, które są lepsze od tego. Głównym problemem jest użycie buforowania w wejściu i IOUtils.copy.

Dla plików większych niż 2GB zaleca się użycie IOUtils.copyLarge() (jeśli mówimy o tych samych IOUtils: org.apache.commons.io.IOUtils)

Replika w IOUtils używa domyślnego rozmiaru bufora 4Kb (choć można określić inny rozmiar bufora jako parametr).

Różnica między copy() a copyLarge() polega na tym, że zwraca wynik.

Ponieważ copy(), jeśli strumień jest większy niż 2GB, skutecznie użyjesz kopii, ale wynik to -1.

Dla copyLarge() wynikiem jest liczba bajtów w pełni skopiowanych.

Zobacz więcej w dokumentacji tutaj:

Logowanie do linku jest widoczne.

Jak sprawdzić, czy plik został w pełni pobrany za pomocą Spring Rest API

Stworzyłem proste API REST do obsługi plików z hdfs (pliki są duże i nie chcę ich kopiować lokalnie).

Chcę zarejestrować informację, że pobranie pliku zakończyło się pomyślnie, czyli przeczytać cały stream, ale nie wiem jak. Mogę tylko zarejestrować informację, że pobieranie pliku się rozpoczęło.

Będę bardzo wdzięczny za każdą pomoc.

Logowanie jest widoczne.

Możesz spróbować stworzyć wrapper na InputStream i wywołać flagi na streamie close(close()).

Na przykład możesz użyć ProxyInputStream jako podstawy:

Logowanie jest widoczne.

[Źródło] Pobierz pliki bezpośrednio z Hadoop HDFS

Powiązane wpisy

Oglądane sekcje