API-operaties voor Hadoop - HDFS

Klein tuig · Geplaatst op 05-07-2019 16:33:58

1. Introduceer afhankelijkheid

Opmerking: Als je het jar-pakket handmatig moet importeren, ---- het HDFS jar-pakket de Hadoop-installatiemap onder share

2. Beschrijving van ontwikkeling onder raam

Het wordt aanbevolen om Hadoop-applicaties onder Linux te ontwikkelen, en er zullen geen compatibiliteitsproblemen zijn. Als je een clientapplicatie op Windows wilt ontwikkelen, moet je de volgende omgeving opzetten:

A. Pak een Hadoop-installatiepakket uit in een map in Windows

B. Vervang de lib- en bin-mappen onder het installatiepakket door de lokale bibliotheken die zijn gecompileerd voor de overeenkomstige Windows-versie van het platform

C. Configureer de HADOOP_HOME in het venstersysteem zodat deze verwijst naar het installatiepakket dat je hebt uitgepakt

D. Voeg Hadoop's bin-directory toe aan de padvariabele van het Windows-systeem

Om HDFS in Java te laten werken, moet je eerst een client-instantie aanschaffen

Inloggen is zichtbaar.

Ons operatiedoel is HDFS, dus het verkregen fs-object zou een instantie van DistributedFileSystem moeten zijn.

Get Method: Waar komt de specifieke instance client-klasse vandaan?

- Afgaande op de configuratiewaarde van een van de parameters fs.defaultFS in conf;

Als we fs.defaultFS niet specificeren in onze code, en er geen overeenkomstige configuratie is gegeven onder het project classpath, komt de standaardwaarde in conf van de core-default.xml in het hadoop jar-pakket, en de standaardwaarde is: file:///, dan zal de acquisitie geen instantie van DistributedFileSystem zijn, maar een clientobject van het lokale bestandssysteem;

Toevoeging, verwijdering, wijziging en inspectie van documenten

Inloggen is zichtbaar.

Toegang tot HDFS via stream

Inloggen is zichtbaar.

[Bron] API-operaties voor Hadoop - HDFS

Gerelateerde berichten

Secties bekeken