API-operasjoner for Hadoop - HDFS

Lille skurk · Publisert på 05.07.2019 16:33:58

1. Innfør avhengighet

Merk: Hvis du må importere jar-pakken manuelt, ---- HDFS jar-pakken Hadoop-installasjonsmappen under share

2. Beskrivelse av utvikling under vindu

Det anbefales å utvikle Hadoop-applikasjoner under Linux, og det vil ikke være noen kompatibilitetsproblemer. Hvis du vil utvikle en klientapplikasjon på Windows, må du sette opp følgende miljø:

A. Pakk ut en Hadoop-installasjonspakke i en mappe i Windows

B. Erstatt bibliotek- og bin-katalogene under installasjonspakken med lokale biblioteker kompilert for den tilsvarende Windows-versjonen av plattformen

C. Konfigurer HADOOP_HOME i vindussystemet til å peke på installasjonspakken du har pakket ut

D. Legg til Hadoops bin-katalog til stivariabelen til Windows-systemet

For å drive HDFS i Java må du først skaffe deg en klientinstans

Innlogging er synlig.

Vårt operasjonsmål er HDFS, så det oppnådde fs-objektet bør være en instans av DistributedFileSystem.

Get Method: Hvor kommer den spesifikke instansklientklassen fra?

- Ut fra konfigurasjonsverdien til en av parameterne fs.defaultFS i conf;

Hvis vi ikke spesifiserer fs.defaultFS i koden vår, og det ikke er noen tilsvarende konfigurasjon gitt under prosjektets classpath, kommer standardverdien i conf fra core-default.xml i hadoop jar-pakken, og standardverdien er: file:///, vil anskaffelsen ikke være en instans av DistributedFileSystem, men et klientobjekt i det lokale filsystemet;

Tillegg, sletting, endring og inspeksjon av dokumenter

Innlogging er synlig.

Få tilgang til HDFS via stream

Innlogging er synlig.

[Kilde] API-operasjoner for Hadoop - HDFS

Relaterte innlegg

Seksjoner sett