API operace pro Hadoop - HDFS

Malý hajzl · Zveřejněno 05.07.2019 16:33:58

1. Zavedení závislosti

Poznámka: Pokud potřebujete ručně importovat balíček jar, balíček HDFS jar ---- instalační adresář Hadoop pod sdílením

2. Popis rozvoje pod oknem

Doporučuje se vyvíjet Hadoop aplikace na Linuxu a nebudou žádné problémy s kompatibilitou. Pokud chcete vyvinout klientskou aplikaci na Windows, musíte nastavit následující prostředí:

A. Rozbalte instalační balíček Hadoop v adresáři ve Windows

B. Nahradit adresáře lib a bin v instalačním balíčku lokálními knihovnami zkompilovanými pro odpovídající verzi platformy pro Windows

C. Nakonfigurujte HADOOP_HOME v systému oken tak, aby ukazoval na instalační balíček, který jste rozbalili

D. Přidat adresář Hadoop bin do proměnné cesty systému Windows

Pro provoz HDFS v Javě je nejdřív potřeba klientská instance

Přihlášení je viditelné.

Naším cílem operace je HDFS, takže získaný fs objekt by měl být instancí DistributedFileSystem.

Get method: Odkud pochází konkrétní instance klientská třída?

- Soudě podle konfigurační hodnoty jednoho z parametrů fs.defaultFS v conf;

Pokud v našem kódu nespecifikujeme fs.defaultFS a pod projektovou classpath není uvedena žádná odpovídající konfigurace, výchozí hodnota conf pochází z core-default.xml v balíčku hadoop jar a výchozí hodnota je: file:///, pak akvizice nebude instancí DistributedFileSystem, ale klientským objektem lokálního souborového systému;

Přidávání, mazání, úprava a kontrola dokumentů

Přihlášení je viditelné.

Přistupujte k HDFS přes stream

Přihlášení je viditelné.

[Zdroj] API operace pro Hadoop - HDFS

Související příspěvky

Prohlížené sekce