API operacije za Hadoop - HDFS

Mala drhal · Objavljeno na 5. 07. 2019 16:33:58

1. Uvedba odvisnosti

Opomba: Če morate ročno uvoziti paket jar, paket HDFS jar ---- namestitveni imenik Hadoop pod deljenje

2. Opis razvoja pod oknom

Priporočljivo je razvijati Hadoop aplikacije na Linuxu, kjer ne bo težav s združljivostjo. Če želite razviti odjemalsko aplikacijo na Windows, morate nastaviti naslednje okolje:

A. Razpakirajte namestitveni paket Hadoop v mapi v Windows

B. Zamenjajte mape lib in bin v namestitvenem paketu z lokalnimi knjižnicami, prevedenimi za ustrezno Windows različico platforme

C. Nastavite HADOOP_HOME v okenskem sistemu, da kaže na namestitveni paket, ki ste ga razpakirali

D. Dodajte Hadoopovo mapo bin v spremenljivko poti sistema Windows

Za upravljanje HDFS v Javi morate najprej pridobiti odjemalsko instanco

Prijava je vidna.

Naš cilj operacije je HDFS, zato bi moral biti pridobljeni fs objekt instanca Distribuiranega datotečnega sistema.

Get method: Od kod izvira specifična instanca odjemalska klasa?

- Glede na konfiguracijsko vrednost enega od parametrov fs.defaultFS v conf;

Če v naši kodi ne določimo fs.defaultFS in pod projektno classpath ni ustrezne konfiguracije, privzeta vrednost conf prihaja iz core-default.xml v hadoop jar paketu, privzeta vrednost pa je: file:///, potem pridobivanje ne bo instanca DistributedFileSystem, temveč odjemalski objekt lokalnega datotečnega sistema;

Dodajanje, brisanje, sprememba in pregled dokumentov

Prijava je vidna.

Dostop do HDFS preko streama

Prijava je vidna.

[Vir] API operacije za Hadoop - HDFS

Sorodne objave

Ogledi odsekov