Операции API для Hadoop - HDFS

Маленькая мразь · Опубликовано 05.07.2019 16:33:58

1. Ввести зависимость

Примечание: если нужно вручную импортировать jar-пакет, пакет HDFS jar ---- каталог установки Hadoop в разделе «share»

2. Описание застроения под окном

Рекомендуется разрабатывать Hadoop-приложения на Linux, и проблем с совместимостью не возникнет. Если вы хотите разработать клиентское приложение на Windows, вам нужно настроить следующую среду:

A. Распаковать пакет установки Hadoop в каталоге Windows

B. Заменить каталоги lib и bin в инсталляционном пакете на локальные библиотеки, скомпилированные для соответствующей версии платформы для Windows

C. Настройте HADOOP_HOME в системе окна так, чтобы указывать на распакованный пакет установки

D. Добавить каталог Bin Hadoop в переменную пути системы Windows

Чтобы работать с HDFS на Java, сначала нужно получить клиентский экземпляр

Вход виден.

Наша цель операции — HDFS, поэтому полученный объект fs должен быть экземпляром DistributedFileSystem.

Get method: Откуда берётся конкретный клиентский класс экземпляра?

- Судя по конфигурационному значению одного из параметров fs.defaultFS в conf;

Если мы не указываем fs.defaultFS в нашем коде, и в классовом пути проекта нет соответствующей конфигурации, то значение по умолчанию в conf взято из core-default.xml в пакете hadoop jar, а значение по умолчанию выглядит так: file:///, тогда приобретение будет не экземпляром DistributedFileSystem, а клиентским объектом локальной файловой системы;

Дополнение, удаление, изменение и проверка документов

Вход виден.

Доступ к HDFS через поток

Вход виден.

[Источник] Операции API для Hadoop - HDFS

Связанные публикации

Просмотренные разделы