API операции за Hadoop - HDFS

Малък боклук · Публикувано в 5.07.2019 г. 16:33:58 ч.

1. Въвеждане на зависимост

Забележка: Ако трябва ръчно да импортирате jar пакета, HDFS jar пакетът ---- Hadoop инсталационната директория под share

2. Описание на развитието под прозорец

Препоръчва се да се разработват Hadoop приложения под Linux и няма да има проблеми със съвместимостта. Ако искате да разработите клиентско приложение на Windows, трябва да настроите следната среда:

A. Разархивиране на инсталационен пакет Hadoop в директория в Windows

B. Заменете директориите lib и bin под инсталационния пакет с локалните библиотеки, компилирани за съответната Windows версия на платформата

В. Конфигурирайте HADOOP_HOME в прозоречната система да сочи към инсталационния пакет, който сте разархивирали

D. Добавете bin директорията на Hadoop към path variable на Windows системата

За да работите с HDFS в Java, първо трябва да получите клиентска инстанция

Входът е видим.

Нашата целева операция е HDFS, така че полученият fs обект трябва да е екземпляр на DistributedFileSystem.

Get method: Откъде идва конкретният клиентски клас на instance?

- Съдейки по конфигурационната стойност на един от параметрите fs.defaultFS в conf;

Ако не уточним fs.defaultFS в нашия код и няма съответна конфигурация, дадена в project classpath, стандартната стойност в conf идва от core-default.xml в hadoop jar пакета, а стойността по подразбиране е: file:///, тогава придобиването няма да бъде инстанция на DistributedFileSystem, а клиентски обект на локалната файлова система;

Добавяне, изтриване, модификация и инспекция на документи

Входът е видим.

Достъп до HDFS чрез поток

Входът е видим.

[Източник] API операции за Hadoop - HDFS

Свързани публикации

Разгледани секции