Операції API для Hadoop - HDFS

Маленька покидька · Опубліковано 05.07.2019 16:33:58

1. Ввести залежність

Примітка: якщо потрібно вручну імпортувати jar-пакет, пакет HDFS jar ---- каталог встановлення Hadoop у розділі «Share»

2. Опис забудови під вікном

Рекомендується розробляти Hadoop-додатки під Linux, і проблем сумісності не буде. Якщо ви хочете розробити клієнтський додаток на Windows, вам потрібно налаштувати наступне середовище:

A. Розпаковувати інсталяційний пакет Hadoop у каталогу Windows

B. Замінити каталоги lib і bin у пакеті встановлення на локальні бібліотеки, скомпільовані для відповідної версії платформи для Windows

C. Налаштуйте HADOOP_HOME у віконній системі так, щоб вона вказувала на розпакований пакет встановлення

D. Додати каталог bin-файлів Hadoop до змінної шляху системи Windows

Щоб працювати з HDFS на Java, спочатку потрібно отримати клієнтський екземпляр

Вхід видно.

Наша цільова операція — HDFS, тому отриманий об'єкт fs має бути екземпляром DistributedFileSystem.

Get method: Звідки походить конкретний клієнтський клас екземпляра?

- Судячи з конфігураційного значення одного з параметрів fs.defaultFS у conf;

Якщо ми не вказуємо fs.defaultFS у нашому коді, і немає відповідної конфігурації в project classpath, значення за замовчуванням у conf походить із core-default.xml у пакеті hadoop jar, а значення за замовчуванням виглядає: file:///, тоді придбання не буде екземпляром DistributedFileSystem, а клієнтським об'єктом локальної файлової системи;

Додавання, видалення, модифікація та перевірка документів

Вхід видно.

Доступ до HDFS через потік

Вхід видно.

[Джерело] Операції API для Hadoop - HDFS

Пов'язані дописи

Переглянуті розділи