FS Shell
Виклик команди Shell File System (FS) має бути у формі bin/hadoop fs<args>. Усі команди оболонки FS використовують шлях URI як параметр. Формат URI — scheme://authority/path. Для HDFS-файлових систем схема — це hdfs, а для локальних файлових систем схема — це файл. Параметри схеми та авторитету є необов'язковими, і якщо не вказані, буде використана схема за замовчуванням, зазначена в конфігурації. Файл або каталог HDFS, такий як /parent/child, може бути представлений як hdfs://namenode:namenodeport/parent/child або просто /parent/child (за умови, що значення за замовчуванням у вашому конфігураційному файлі — namenode:namenodeport). Більшість команд FS Shell поводяться подібно до своїх аналогів Unix Shell, з відмінностями, які будуть зазначені в наступному розділі. Інформація про помилки виводиться у stderr, а інша інформація — у stdout.
кітЯк використовувати: hadoop fs -cat URI [URI ...]
Виведіть вміст файлу, заданого шляхом, у stdout.
Приклад:
hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2
hadoop fs -cat file:///file3 /user/hadoop/file4
Повернене значення:
Успішно повертає 0, не повертає -1.
CHGRP
Як користуватися: hadoop fs -chgrp [-R] GROUP URI [URI ...] Змініть асоціацію груп файлів. З -R змінюйте рекурсивно через структуру каталогу. Користувач повинен бути власником файлів або супер-користувачем. Додаткова інформація міститься в Посібнику користувача з дозволів. -->
Змініть групу, до якої належить файл. Використання -R змінюється рекурсивно у структурі каталогу. Користувач команди повинен бути власником файлу або суперкористувачем. Для отримання додаткової інформації дивіться Посібник користувача з дозволів HDFS.
chmod
Як користуватися: hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]
Змініть права доступу файлу. Використання -R змінюється рекурсивно у структурі каталогу. Користувач команди повинен бути власником файлу або суперкористувачем. Для отримання додаткової інформації дивіться Посібник користувача з дозволів HDFS.
Чоун
Як користуватися: hadoop fs -chown [-R] [ВЛАСНИК][:[GROUP]] URI [URI]
Змініть власника файлу. Використання -R змінюється рекурсивно у структурі каталогу. Користувач команди повинен бути суперкористувачем. Для отримання додаткової інформації дивіться Посібник користувача з дозволів HDFS.
copyFromLocal
Як користуватися: hadoop fs -<localsrc>copyFromLocal URI
За винятком того, що вихідний шлях — це локальний файл, подібно до команди put.
copyToLocal
Як використовувати: hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>
Схоже на команду get, але цільовий шлях — це локальний файл.
CP
Як користуватися: hadoop fs -cp URI [URI ...] <dest>
Скопіюйте файли з вихідного шляху на шлях призначення. Ця команда дозволяє створювати кілька шляхів джерела, у такому разі шлях призначення має бути каталогом.
Приклад:
hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2
hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir
Повернене значення:
Успішно повертає 0, не повертає -1.
Ду
Як користуватися: hadoop fs -du URI [URI ...]
Відображає розмір усіх файлів у каталозі або коли вказано лише один файл.
Приклад:
hadoop fs -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://host:port/user/hadoop/dir1
Повернене значення:
Успішно повертає 0, не повертає -1.
dus
Як користуватися: hadoop fs -<args>dus
Відображає розмір файлу.
видалити
Як користуватися: Hadoop FS -видалення
Спорожніть контейнер для переробки. Будь ласка, зверніться до документації HDFS для отримання додаткової інформації про характеристики контейнера для переробки.
Іди
Як використовувати: hadoop fs -get [-ignorecrc] [-<src><localdst>crc ]
Скопіюйте файли у вашу локальну файлову систему. Ви можете скористатися опцією -ignorecrc, щоб скопіювати файли, які не пройшли перевірку CRC. Використовуйте опцію -crc, щоб скопіювати файл разом із інформацією CRC.
Приклад:
hadoop fs -get /user/hadoop/file localfile
Hadoop FS -отримати HDFS://host:port/user/hadoop/file localfile
Повернене значення:
Успішно повертає 0, не повертає -1.
getmerge
Як користуватися: hadoop fs -<src> <localdst> getmerge [addnl]
Прийміть як вхідний каталог вихідного коду та цільовий файл і підключіть усі файли з папки джерела до локального цільового файлу. addnl є необов'язковим і визначає, що до кінця кожного файлу додається розрив рядка.
ЛС
Як користуватися: hadoop fs -ls <args>
Якщо це файл, інформація про файл повертається у наступному форматі:
Ім'я <副本数> файлу Розмір файлу Дата зміни: Час зміни: Дозволи User ID, Group ID та ID
Якщо це каталог, він повертає список своїх прямих підфайлів, як у Unix. Зміст повертає таку інформацію:
Назва <dir> каталогу Дата зміни Час зміни Дозвіл Ідентифікатор користувача Ідентифікатор групи
Приклад:
hadoop fs -ls /user/hadoop/file1 /user/hadoop/file2 hdfs://host:port/user/hadoop/dir1 /nonexistentfile
Повернене значення:
Успішно повертає 0, не повертає -1.
LSR
Як користуватися: hadoop fs -<args>lsr
Це командування. Схоже на ls -R в Unix.
MKDIR
Як користуватися: hadoop fs -mkdir <paths>
Прийміть URI, визначений шляхом, як параметр для створення цих каталогів. Він поводиться як mkdir -p від Unix, який створює батьківські каталоги на всіх рівнях шляху.
Приклад:
hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2
Hadoop FS -mkdir HDFS://host1:port1/user/hadoop/dir HDFS://host2:port2/user/hadoop/dir
Повернене значення:
Успішно повертає 0, не повертає -1.
movefromfromLocal
Як використовувати: dfs -moveFromLocal <src> <dst>
Виводить повідомлення «не реалізовано».
MV
Як користуватися: hadoop fs -mv URI [URI ...] <dest>
Перемістіть файли з вихідного шляху на шлях призначення. Ця команда дозволяє створювати кілька шляхів джерела, у такому разі шлях призначення має бути каталогом. Переміщення файлів між різними файловими системами заборонене.
Приклад:
hadoop fs -mv /user/hadoop/file1 /user/hadoop/file2
Hadoop FS -MV HDFS://host:port/file1 HDFS://host:port/file2 HDFS://host:port/file3 HDFS://host:port/dir1
Повернене значення:
Успішно повертає 0, не повертає -1.
поставити
Як користуватися: hadoop fs -put <localsrc> ... <dst>
Скопіюйте один або кілька шляхів джерела з локальної файлової системи до системи призначення. Він також підтримує читання вхідних даних зі стандартних вхідних даних і запис їх у цільову файлову систему.
hadoop fs -put localfile /user/hadoop/hadoopfile
hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir
hadoop fs -put localfile hdfs://host:port/hadoop/hadoopfile
hadoop fs -put - hdfs://host:port/hadoop/hadoopfile
Читайте введення зі стандартного входу.
Повернене значення:
Успішно повертає 0, не повертає -1.
rm
Як користуватися: hadoop fs -rm URI [URI ...]
Видаліть вказаний файл. Видаляються лише непорожні каталоги та файли. Для отримання додаткової інформації зверніться до команди rmr для рекурсивного видалення.
Приклад:
Hadoop FS -RM HDFS://host:port/file /user/hadoop/emptydir
Повернене значення:
Успішно повертає 0, не повертає -1.
RMR
Як користуватися: hadoop fs -rmr URI [URI ...]
Видалити.
Приклад:
hadoop fs -rmr /user/hadoop/dir
Hadoop FS -RMR HDFS://host:port/user/hadoop/dir
Повернене значення:
Успішно повертає 0, не повертає -1.
setrep
Як користуватися: hadoop fs -setrep [-R<path>]
Змініть коефіцієнт копії файлу. Опція -R використовується для рекурсивної зміни коефіцієнта копування всіх файлів у каталозі.
Приклад:
hadoop fs -setrep -w 3 -R /user/hadoop/dir1
Повернене значення:
Успішно повертає 0, не повертає -1.
Stat
Як використовувати: hadoop fs -stat URI [URI ...]
Повертає статистику для заданого шляху.
Приклад:
Hadoop FS -Stat Path
Повернене значення:
Успішно повертає 0, не повертає -1.
хвіст
Як користуватися: hadoop fs -tail [-f] URI
Виведіть вміст останніх 1K байтів файлу у stdout. Підтримуйте опцію -f, така поведінка відповідає Unix.
Приклад:
Hadoop FS - Pathname хвоста
Повернене значення:
Успішно повертає 0, не повертає -1.
тест
Як користуватися: hadoop fs -test -[ezd] URI
Варіанти:
-e Перевірте, чи існує файл. Повертає 0, якщо присутня.
-z Перевірте, чи файл має 0 байт. Якщо так, повертає 0.
-d Повертає 1, якщо шлях є каталогом, інакше 0.
Приклад:
Hadoop fs -test -e Filename
Текст
Як користуватися: hadoop <src>fs -text
Виведіть вихідний файл у текстовому форматі. Дозволені формати: zip та TextRecordInputStream.
touchz
Як користуватися: hadoop fs -touchz URI [URI ...]
Створіть порожній файл з 0 байтами.
Приклад:
Hadoop -Touchz Pathname
Повернене значення:
Успішно повертає 0, не повертає -1.
Офіційні посилання:Вхід за гіперпосиланням видно.
|
Опубліковано 05.07.2019 15:29:44
|
|
|
|
