1. Wprowadzenie zależności
Uwaga: Jeśli musisz ręcznie zaimportować pakiet jar, pakiet HDFS jar ---- katalogu instalacyjnego Hadoop w sekcji share
2. Opis rozwoju pod oknem
Zaleca się tworzenie aplikacji Hadoop na Linuksie, gdzie nie będzie problemów z kompatybilnością. Jeśli chcesz stworzyć aplikację kliencką na Windowsie, musisz skonfigurować następujące środowisko:
A. Rozpakuj pakiet instalacyjny Hadoop w katalogu w systemie Windows
B. Zastąpienie katalogów bibliotek i bin w pakiecie instalacyjnym lokalnymi bibliotekami skompilowanymi dla odpowiedniej wersji Windows platformy
C. Skonfiguruj HADOOP_HOME w systemie okiennym, aby wskazywał na pakiet instalacyjny, który rozpakowałeś
D. Dodaj katalog kosza Hadoop do zmiennej ścieżki systemu Windows
Aby obsługiwać HDFS w Javie, najpierw musisz mieć instancję klienta
Celem operacji jest HDFS, więc uzyskany obiekt fs powinien być instancją DistributedFileSystem.
Get method: Skąd pochodzi konkretna klasa klienta instancji?
- Na podstawie wartości konfiguracyjnej jednego z parametrów fs.defaultFS w conf;
Jeśli nie określimy fs.defaultFS w naszym kodzie i nie ma odpowiedniej konfiguracji w ścieżce klasy projektu, domyślna wartość conf pochodzi z core-default.xml w pakiecie hadoop jar, a wartość domyślna to: file:///, to akwizycja nie będzie instancją DistributedFileSystem, lecz obiektem klienta lokalnego systemu plików;
Dodawanie, usuwanie, modyfikacja i kontrola dokumentów
Dostęp do HDFS przez stream
|
Opublikowano 05.07.2019 16:33:58
|
|
|
