Operațiuni API pentru Hadoop - HDFS

Mică mizerie · Postat pe 05.07.2019 16:33:58

1. Introducerea dependenței

Notă: Dacă trebuie să imporți manual pachetul jar, pachetul jar HDFS ---- directorul de instalare Hadoop sub share

2. Descrierea dezvoltării sub fereastră

Se recomandă dezvoltarea aplicațiilor Hadoop sub Linux și nu vor exista probleme de compatibilitate. Dacă vrei să dezvolți o aplicație client pe Windows, trebuie să configurezi următorul mediu:

A. Decomprimă un pachet de instalare Hadoop într-un director în Windows

B. Înlocuirea directoarelor lib și bin din pachetul de instalare cu bibliotecile locale compilate pentru versiunea corespunzătoare de Windows a platformei

C. Configurează HADOOP_HOME din sistemul de ferestre pentru a indica pachetul de instalare pe care l-ai dezipfuit

D. Adaugă directorul bin al Hadoop la variabila de cale a sistemului Windows

Pentru a opera HDFS în Java, mai întâi trebuie să obții o instanță client

Autentificarea este vizibilă.

Ținta noastră de operațiune este HDFS, deci obiectul fs obținut ar trebui să fie o instanță a DistributedFileSystem.

Metoda Get: De unde provine clasa client specifică a instanței?

- Judecând după valoarea de configurație a unuia dintre parametrii fs.defaultFS în conf;

Dacă nu specificăm fs.defaultFS în codul nostru și nu există o configurație corespunzătoare sub calea clasei proiectului, valoarea implicită în conf provine din core-default.xml din pachetul jar hadoop, iar valoarea implicită este: file:///, atunci achiziția nu va fi o instanță a DistributedFileSystem, ci un obiect client al sistemului local de fișiere;

Adăugarea, ștergerea, modificarea și inspecția documentelor

Autentificarea este vizibilă.

Accesați HDFS prin flux

Autentificarea este vizibilă.

[Sursă] Operațiuni API pentru Hadoop - HDFS

Postări conexe

Secțiuni vizualizate