FS Shell
Извикването на командата Shell на File System (FS) трябва да е под формата bin/hadoop fs<args>. Всички команди на FS shell използват URI пътя като параметър. URI форматът е scheme://authority/path. За HDFS файлови системи scheme е hdfs, а за локалните файлови системи scheme е file. Параметрите на схемата и авторитета са по избор, и ако не са уточнени, ще се използва схемата по подразбиране, посочена в конфигурацията. HDFS файл или директория като /parent/child може да бъде представен като hdfs://namenode:namenodeport/parent/child или просто /parent/child (при условие, че стандартната стойност във вашия конфигурационен файл е namenode:namenodeport). Повечето FS Shell команди се държат подобно на техните Unix Shell аналози, с разлики, които ще бъдат отбелязани в следващия раздел. Информацията за грешка се изводи към stderr, а друга информация – към stdout.
КоткаКак да използвате: hadoop fs -cat URI [URI ...]
Изведете съдържанието на зададения по пътя файл в stdout.
Пример:
hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2
hadoop fs -cat file:///file3 /user/hadoop/file4
Възвръщаема стойност:
Успешно връща 0, не връща -1.
CHGRP
Как да използвате: hadoop fs -chgrp [-R] ГРУПА URI [URI ...] Променете асоциацията на файловете в групите. С -R направете промяната рекурсивно чрез структурата на директорията. Потребителят трябва да е собственик на файлове или супер-потребител. Допълнителна информация е в Ръководството за потребителя за разрешения. -->
Променете групата, към която принадлежи файлът. Използването на -R ще направи промяната рекурсивно под структурата на директорията. Потребителят на командата трябва да бъде собственик на файла или суперпотребител. За повече информация вижте Потребителското ръководство за HDFS Permissions.
chmod
Как да използвате: hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]
Променете разрешенията на файла. Използването на -R ще направи промяната рекурсивно под структурата на директорията. Потребителят на командата трябва да бъде собственик на файла или суперпотребител. За повече информация вижте Потребителското ръководство за HDFS Permissions.
чоун
Как да използвате: hadoop fs -chown [-R] [СОБСТВЕНИК][:[ГРУПА]] URI [URI ]
Сменете собственика на файла. Използването на -R ще направи промяната рекурсивно под структурата на директорията. Потребителят на командата трябва да е суперпотребител. За повече информация вижте Потребителското ръководство за HDFS Permissions.
copyFromLocal
Как да използвате: hadoop fs -<localsrc>copyFromLocal URI
Освен че изходният път е локален файл, подобно на командата put.
copyToLocal
Как да използвам: hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>
Подобно на командата get, с тази разлика, че целевият път е локален файл.
CP
Как да използвате: hadoop fs -cp URI [URI ...] <dest>
Копирайте файловете от изходния път към целевия път. Тази команда позволява множество изходни пътища, в който случай дестинационният път трябва да бъде директория.
Пример:
hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2
hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir
Възвръщаема стойност:
Успешно връща 0, не връща -1.
du
Как да използвате: hadoop fs -du URI [URI ...]
Показва размера на всички файлове в директорията или когато е посочен само един файл.
Пример:
hadoop fs -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://host:port/user/hadoop/dir1
Възвръщаема стойност:
Успешно връща 0, не връща -1.
dus
Как да използвам: hadoop fs -<args>dus
Показва размера на файла.
изтрий
Как да използвате: Hadoop FS -expunge
Изпразни кошчето за рециклиране. Моля, вижте дизайнната документация на HDFS за повече информация относно характеристиките на контейнера за рециклиране.
Вземи
Как да използвам: hadoop fs -get [-ignorecrc] [-<src><localdst>crc ]
Копирай файловете си в локалната файлова система. Можеш да използваш опцията -ignorecrc, за да копираш файлове, които не са преминали CRC проверката. Използвайте опцията -crc, за да копирате файла заедно с информацията за CRC.
Пример:
hadoop fs -get /user/hadoop/file localfile
Hadoop FS -Вземи HDFS://host:port/user/hadoop/file localfile
Възвръщаема стойност:
Успешно връща 0, не връща -1.
getmerge
Как да използвам: hadoop fs -<src> <localdst> getmerge [addnl]
Приемете изходна директория и целеви файл като вход и свържете всички файлове в изходната директория с локалния целеви файл. addnl е по избор и уточнява, че към края на всеки файл се добавя прекъсване на ред.
LS
Как да използвам: hadoop fs -ls <args>
Ако е файл, информацията за файла се връща в следния формат:
Име <副本数> на файл Размер на файла Дата на промяна: Време на промяна: Права User ID, Group ID и ID
Ако е директория, връща списък с директните си подфайлове, точно както в Unix. Съдържанието връща следната информация:
Име на <dir> директория Дата на промяна Промяна Време Разрешение за потребителски ID Идентификатор на групата
Пример:
hadoop fs -ls /user/hadoop/file1 /user/hadoop/file2 hdfs://host:port/user/hadoop/dir1 /nonexistentfile
Възвръщаема стойност:
Успешно връща 0, не връща -1.
LSR
Как да използвам: hadoop fs -<args>lsr
ИС командване. Подобно на ls -R в Unix.
MKDIR
Как да използвам: hadoop fs -mkdir <paths>
Приемете URI, зададен от пътя, като параметър за създаване на тези директории. Той се държи като mkdir -p на Unix, който създава родителски директории на всички нива в пътя.
Пример:
hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2
Hadoop FS -mkdir HDFS://host1:port1/user/hadoop/dir HDFS://host2:port2/user/hadoop/dir
Възвръщаема стойност:
Успешно връща 0, не връща -1.
move fromLocal
Как да използвам: dfs -moveFromLocal <src> <dst>
Извежда съобщение "не е реализирано".
MV
Как да използвам: hadoop fs -mv URI [URI ...] <dest>
Преместете файловете от изходния път към целевия път. Тази команда позволява множество изходни пътища, в който случай дестинационният път трябва да бъде директория. Преместването на файлове между различни файлови системи не е позволено.
Пример:
hadoop fs -mv /user/hadoop/file1 /user/hadoop/file2
Hadoop FS -mv HDFS://host:port/file1 HDFS://host:port/file2 HDFS://host:port/file3 HDFS://host:port/dir1
Възвръщаема стойност:
Успешно връща 0, не връща -1.
Постави
Как да използвам: hadoop fs -put <localsrc> ... <dst>
Копирайте един или няколко изходни пътя от локалната файлова система към целевата файлова система. Той също така поддържа четене на входни данни от стандартни входове и записването им към целевата файлова система.
hadoop fs -постави localfile /user/hadoop/hadoopfile
hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir
hadoop fs -put localfile hdfs://host:port/hadoop/hadoopfile
hadoop fs -put - hdfs://host:port/hadoop/hadoopfile
Чети входа от стандартния вход.
Възвръщаема стойност:
Успешно връща 0, не връща -1.
RM
Как да използвам: hadoop fs -rm URI [URI ...]
Изтрий посочения файл. Само непразните директории и файлове се изтриват. За повече информация вижте командата rmr за рекурсивно изтриване.
Пример:
Hadoop FS -RM HDFS://host:port/file /user/hadoop/emptydir
Възвръщаема стойност:
Успешно връща 0, не връща -1.
RMR
Как да използвате: hadoop fs -rmr URI [URI ...]
Изтрий.
Пример:
Hadoop FS -RMR /user/hadoop/dir
Hadoop FS -RMR HDFS://host:port/user/hadoop/dir
Възвръщаема стойност:
Успешно връща 0, не връща -1.
setrep
Как да използвам: hadoop fs -setrep [-R<path>]
Променете фактора на копиране на файл. Опцията -R се използва за рекурсивна промяна на фактора на копиране на всички файлове в директорията.
Пример:
hadoop fs -setrep -w 3 -R /user/hadoop/dir1
Възвръщаема стойност:
Успешно връща 0, не връща -1.
STAT
Как да използвам: hadoop fs -stat URI [URI ...]
Връща статистика за зададения път.
Пример:
Hadoop FS -стат път
Възвръщаема стойност:
Успешно връща 0, не връща -1.
опашка
Как да използвате: hadoop fs -tail [-f] URI
Изведете съдържанието на последните 1K байта на файла в stdout. Подкрепяй опцията -f, поведението е съвместимо с Unix.
Пример:
Hadoop FS -Tail Pathname
Възвръщаема стойност:
Успешно връща 0, не връща -1.
тест
Как да използвате: hadoop fs -test -[ezd] URI
Опции:
-e Проверете дали файлът съществува. Връща 0, ако е наличен.
-z Провери дали файлът е 0 байтове. Ако да, връща 0.
-d Връща 1, ако пътят е директория, в противен случай 0.
Пример:
Hadoop fs -test -e filename
Текст
Как да използвам: hadoop <src>fs -text
Изведете изходния файл като текстов формат. Позволените формати са zip и TextRecordInputStream.
touchz
Как да използвам: hadoop fs -touchz URI [URI ...]
Създай празен файл с 0 байта.
Пример:
Hadoop -Touchz Pathname
Възвръщаема стойност:
Успешно връща 0, не връща -1.
Официални връзки:Входът към хиперлинк е видим.
|
Публикувано в 5.07.2019 г. 15:29:44 ч.
|
|
|
|
