FS Shell
Вызов команды Shell File System (FS) должен осуществляться в виде bin/hadoop fs<args>. Все команды оболочки FS используют путь URI в качестве параметра. Формат URI — scheme://authority/path. Для файловых систем HDFS схема — hdfs, а для локальных файловых систем scheme — файл. Параметры схемы и авторитета являются необязательными, и если они не указаны, будет использоваться схема по умолчанию, указанная в конфигурации. Файл или каталог HDFS, такой как /parent/child, может быть представлен как hdfs://namenode:namenodeport/parent/child или просто /parent/child (при условии, что значение по умолчанию в вашем конфигурационном файле — namenode:namenodeport). Большинство команд FS Shell ведут себя аналогично своим аналогам в Unix Shell, с отличиями, которые будут отмечены в следующем разделе. Информация об ошибке выводится в stderr, а другая — в stdout.
КошкаКак использовать: hadoop fs -cat URI [URI ...]
Выведите содержимое заданного по пути файла в stdout.
Пример:
Hadoop FS -cat HDFS://host1:port1/file1 HDFS://host2:port2/file2
hadoop fs -cat file:///file3 /user/hadoop/file4
Возвратное значение:
Успешно возвращает 0, не возвращает -1.
CHGRP
Как использовать: hadoop fs -chgrp [-R] ГРУППА URI [URI ...] Измените ассоциацию групп файлов. При -R изменяйте рекурсивно через структуру каталога. Пользователь должен быть владельцем файлов или супер-пользователем. Дополнительная информация содержится в Руководстве пользователя по разрешениям. -->
Измените группу, к которой относится файл. Использование -R приводит к рекурсивному изменению в структуре каталога. Пользователь команды должен быть владельцем файла или суперпользователем. Для получения дополнительной информации смотрите руководство пользователя по разрешениям HDFS.
chmod
Как использовать: hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]
Измените права доступа файла. Использование -R приводит к рекурсивному изменению в структуре каталога. Пользователь команды должен быть владельцем файла или суперпользователем. Для получения дополнительной информации смотрите руководство пользователя по разрешениям HDFS.
Чоун
Как использовать: hadoop fs -chown [-R] [ВЛАДЕЛЕЦ][:[ГРУППА]] URI [URI]
Смените владельца файла. Использование -R приводит к рекурсивному изменению в структуре каталога. Пользователь команды должен быть суперпользователем. Для получения дополнительной информации смотрите руководство пользователя по разрешениям HDFS.
copyFromLocal
Как пользоваться: hadoop fs -<localsrc>copyFromLocal URI
За исключением того, что исходный путь — это локальный файл, аналогичный команде put.
copyToLocal
Как использовать: hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>
Похоже на команду get, но целевая путь — это локальный файл.
cp
Как использовать: hadoop fs -cp URI [URI ...] <dest>
Скопируйте файлы с исходного пути в путь назначения. Эта команда позволяет создавать несколько исходных путей, в этом случае путь назначения должен быть каталогом.
Пример:
hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2
hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir
Возвратное значение:
Успешно возвращает 0, не возвращает -1.
Ду
Как использовать: hadoop fs -du URI [URI ...]
Отображается размер всех файлов в каталоге или когда указан только один файл.
Пример:
hadoop fs -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://host:port/user/hadoop/dir1
Возвратное значение:
Успешно возвращает 0, не возвращает -1.
Дус
Как пользоваться: hadoop fs -<args>dus
Отображается размер файла.
Удалить
Как использовать: Hadoop FS -delege
Опустошите контейнер для переработки. Пожалуйста, обратитесь к документации по дизайну HDFS для получения дополнительной информации о характеристиках контейнера для переработки.
Получить
Как использовать: hadoop fs -get [-ignorecrc] [-<src><localdst>crc ]
Скопируйте файлы в вашу локальную файловую систему. Можно использовать опцию -ignorecrc, чтобы скопировать файлы, которые не прошли проверку CRC. Используйте опцию -crc, чтобы скопировать файл вместе с информацией CRC.
Пример:
hadoop fs -get /user/hadoop/file localfile
hadoop fs -получить HDFS://host:port/user/hadoop/file localfile
Возвратное значение:
Успешно возвращает 0, не возвращает -1.
getmerge
Как использовать: hadoop fs -<src> <localdst> getmerge [addnl]
Примите исходный каталог и целевой файл в качестве входных данных и подключите все файлы исходного каталога к локальному целевому файлу. addnl является необязательным и указывает, что разрыв строки добавляется в конце каждого файла.
LS
Как пользоваться: hadoop fs -ls <args>
Если это файл, информация о файле возвращается в следующем формате:
Имя <副本数> файла Размер файла Дата изменения: время изменений: права пользовательского идентификатора, идентификатор группы и идентификатор
Если это каталог, он возвращает список своих прямых подфайлов, как в Unix. Оглавление возвращает следующую информацию:
Название <dir> каталога Дата изменения Изменение Время разрешения Идентификатор пользователя Идентификатор группы
Пример:
hadoop fs -ls /user/hadoop/file1 /user/hadoop/file2 hdfs://host:port/user/hadoop/dir1 /nonexistentfile
Возвратное значение:
Успешно возвращает 0, не возвращает -1.
LSR
Как пользоваться: hadoop fs -<args>lsr
Приказ ИС. Похоже на ls -R в Unix.
MKDIR
Как пользоваться: hadoop fs -mkdir <paths>
Примите URI, указанный путём, в качестве параметра для создания этих каталогов. Он ведёт себя как mkdir -p в Unix, который создаёт родительские каталоги на всех уровнях пути.
Пример:
hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2
Hadoop FS -mkdir HDFS://host1:port1/user/hadoop/dir HDFS://host2:port2/user/hadoop/dir
Возвратное значение:
Успешно возвращает 0, не возвращает -1.
move fromLocal
Как использовать: dfs -moveFromLocal <src> <dst>
Выводит сообщение «не реализовано».
MV
Как использовать: hadoop fs -mv URI [URI ...] <dest>
Переместите файлы с исходного пути на путь назначения. Эта команда позволяет создавать несколько исходных путей, в этом случае путь назначения должен быть каталогом. Перемещение файлов между разными файловыми системами запрещено.
Пример:
hadoop fs -mv /user/hadoop/file1 /user/hadoop/file2
Hadoop FS -MV HDFS://host:port/file1 HDFS://host:port/file2 HDFS://host:port/file3 HDFS://host:port/DIR1
Возвратное значение:
Успешно возвращает 0, не возвращает -1.
Положи
Как использовать: hadoop fs -put <localsrc> ... <dst>
Скопируйте один или несколько исходных путей из локальной файловой системы в целевую файловую систему. Также поддерживается чтение входных данных со стандартных входов и запись их в целевую файловую систему.
hadoop fs -put localfile /user/hadoop/hadoopfile
hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir
hadoop fs -put localfile hdfs://host:port/hadoop/hadoopfile
hadoop fs -put - hdfs://host:port/hadoop/hadoopfile
Читайте ввод со стандартного входа.
Возвратное значение:
Успешно возвращает 0, не возвращает -1.
RM
Как использовать: hadoop fs -rm URI [URI ...]
Удалите указанный файл. Удаляются только непустые каталоги и файлы. Для получения дополнительной информации обратитесь к команде rmr для рекурсивного удаления.
Пример:
Hadoop FS -RM HDFS://host:port/file /user/hadoop/emptydir
Возвратное значение:
Успешно возвращает 0, не возвращает -1.
RMR
Как использовать: hadoop fs -rmr URI [URI ...]
Удалить.
Пример:
Hadoop FS -RMR /user/hadoop/dir
Hadoop FS -RMR HDFS://host:port/user/hadoop/dir
Возвратное значение:
Успешно возвращает 0, не возвращает -1.
setrep
Как пользоваться: hadoop fs -setrep [-R<path>]
Измените коэффициент копирования файла. Опция -R используется для рекурсивного изменения коэффициента копирования всех файлов в каталоге.
Пример:
hadoop fs -setrep -w 3 -R /user/hadoop/dir1
Возвратное значение:
Успешно возвращает 0, не возвращает -1.
Статистика
Как использовать: hadoop fs -stat URI [URI ...]
Возвращает статистику по указанному пути.
Пример:
Hadoop FS -стат-путь
Возвратное значение:
Успешно возвращает 0, не возвращает -1.
хвост
Как использовать: hadoop fs -tail [-f] URI
Выведите содержимое последних 1K байт файла в stdout. Поддерживайте опцию -f, поведение соответствует Unix.
Пример:
Hadoop FS -Tailname
Возвратное значение:
Успешно возвращает 0, не возвращает -1.
тест
Как использовать: hadoop fs -test -[ezd] URI
Параметры:
-e Проверьте, существует ли файл. Возвращает 0, если есть.
-z Проверьте, имеет ли файл 0 байт. Если да, то возвращает 0.
-d Возвращает 1, если путь является каталогом, иначе 0.
Пример:
Hadoop FS -test -e Filename
СМС
Как пользоваться: hadoop <src>fs -text
Выводите исходный файл в текстовом формате. Разрешенные форматы: zip и TextRecordInputStream.
touchz
Как пользоваться: hadoop fs -touchz URI [URI ...]
Создайте пустой файл с 0 байтами.
Пример:
Hadoop -Touchz Pathname
Возвратное значение:
Успешно возвращает 0, не возвращает -1.
Официальные ссылки:Вход по гиперссылке виден.
|
Опубликовано 05.07.2019 15:29:44
|
|
|
|
