FS Shell
Tiedostojärjestelmän (FS) Shell-komennon kutsuminen tulisi tapahtua muodossa bin/hadoop <args>fs. Kaikki FS-kuoren komennot käyttävät URI-polkua parametrina. URI-muoto on scheme://authority/path. HDFS-tiedostojärjestelmissä scheme on hdfs ja paikallisissa tiedostojärjestelmissä scheme on file. Järjestelmä- ja auktoriteettiparametrit ovat vapaaehtoisia, ja jos niitä ei ole määritelty, käytetään konfiguraatiossa määriteltyä oletusjärjestelmää. HDFS-tiedosto tai hakemisto, kuten /parent/child, voidaan esittää muodossa hdfs://namenode:namenodeport/parent/child tai yksinkertaisesti /parent/child (olettaen, että oletusarvo konfiguraatiotiedostossasi on namenode:namenodeport). Useimmat FS Shell -komennot käyttäytyvät samankaltaisesti kuin Unix Shell -vastineensa, mutta eroja käsitellään seuraavassa osiossa. Virhetiedot lähetetään stderrille, ja muu tieto lähetetään stdoutille.
KissaNäin käytetään: hadoop fs -cat URI [URI ...]
Tulosta polun määrittämän tiedoston sisältö stdoutiin.
Esimerkki:
hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2
hadoop fs -cat file:///file3 /user/hadoop/file4
Palautusarvo:
Onnistuu palauttamaan nollan, ei palauta -1.
chgrp
Näin käytetään: hadoop fs -chgrp [-R] RYHMÄ URI [URI ...] Muuta tiedostojen ryhmäassosiaatiota. -R:llä muutos tehdään rekursiivisesti hakemistorakenteen kautta. Käyttäjän on oltava tiedostojen omistaja tai superkäyttäjä. Lisätietoja löytyy käyttöoikeuksien käyttöoppaasta. -->
Muuta ryhmä, johon tiedosto kuuluu. Käyttämällä -R:ää muutos tehdään rekursiivisesti hakemistorakenteen alla. Käskyn käyttäjän on oltava tiedoston omistaja tai superkäyttäjä. Lisätietoja löytyy HDFS:n käyttöoikeuksien käyttöoppaasta.
chmod
Näin käytetään: hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI ...]
Muuta tiedoston käyttöoikeudet. Käyttämällä -R:ää muutos tehdään rekursiivisesti hakemistorakenteen alla. Käskyn käyttäjän on oltava tiedoston omistaja tai superkäyttäjä. Lisätietoja löytyy HDFS:n käyttöoikeuksien käyttöoppaasta.
Chown
Näin käytetään: hadoop fs -chown [-R] [OMISTAJA][:[RYHMÄ]] URI [URI]
Vaihda tiedoston omistaja. Käyttämällä -R:ää muutos tehdään rekursiivisesti hakemistorakenteen alla. Käskyn käyttäjän on oltava superkäyttäjä. Lisätietoja löytyy HDFS:n käyttöoikeuksien käyttöoppaasta.
copyFromLocal
Näin käytetään: hadoop fs -copyFromLocal <localsrc> URI
Paitsi että lähdepolku on paikallinen tiedosto, samankaltainen kuin put-komento.
copyToLocal
Näin käytetään: hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>
Samankaltainen kuin get-komento, paitsi että kohdepolku on paikallinen tiedosto.
CP
Näin käytetään: hadoop fs -cp URI [URI ...] <dest>
Kopioi tiedostot lähdepolulta kohdepolulle. Tämä komento mahdollistaa useita lähdepolkuja, jolloin kohdepolun on oltava hakemisto.
Esimerkki:
hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2
hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir
Palautusarvo:
Onnistuu palauttamaan nollan, ei palauta -1.
du
Näin käytetään: hadoop fs -du URI [URI ...]
Näyttää kaikkien kansion tiedostojen koon tai kun vain yksi tiedosto on määritetty.
Esimerkki:
hadoop fs -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://host:port/user/hadoop/dir1
Palautusarvo:
Onnistuu palauttamaan nollan, ei palauta -1.
dus
Näin käytetään: hadoop fs -<args>dus
Näyttää tiedoston koon.
Poistaminen
Miten käyttää: Hadoop FS -poista
Tyhjennä roskakori. Lisätietoja kierrätysastian ominaisuuksista löytyy HDFS:n suunnitteludokumentaatiosta.
Tule
Näin käytetään: hadoop fs -get [-ignorecrc] [-crc <src> <localdst>]
Kopioi tiedostot paikalliseen tiedostojärjestelmään. Voit käyttää -ignorecrc-vaihtoehtoa kopioidaksesi tiedostoja, jotka epäonnistuivat CRC-varmennuksessa. Käytä -crc-vaihtoehtoa kopioidaksesi tiedoston yhdessä CRC-tietojen kanssa.
Esimerkki:
hadoop fs -get /user/hadoop/file localfile
hadoop fs -get hdfs://host:port/user/hadoop/file localfile
Palautusarvo:
Onnistuu palauttamaan nollan, ei palauta -1.
getmerge
Näin käytetään: hadoop fs -getmerge <src> <localdst> [lisäys]
Hyväksy lähdekansio ja kohdetiedosto syötteeksi ja yhdistä kaikki lähdehakemiston tiedostot paikalliseen kohdetiedostoon. addnl on vapaaehtoinen ja määrittelee, että jokaisen tiedoston loppuun lisätään rivinvaihto.
ls
Näin käytetään: hadoop fs -ls <args>
Jos kyseessä on tiedosto, tiedostotiedot palautetaan seuraavassa muodossa:
Tiedoston <副本数> nimi Tiedostokoko Muokattu: Aika muokattu: Käyttöoikeudet User ID, Group ID ja ID
Jos kyseessä on hakemisto, se palauttaa listan suorista alitiedostoistaan, aivan kuten Unixissa. Sisällysluettelo palauttaa seuraavat tiedot:
Hakemiston <dir> nimi Muokattu Päivämäärä Muokattu Aika Käyttöoikeus Käyttäjätunnus Ryhmätunnus
Esimerkki:
hadoop fs -ls /user/hadoop/file1 /user/hadoop/file2 hdfs://host:port/user/hadoop/dir1 /nonexistentfile
Palautusarvo:
Onnistuu palauttamaan nollan, ei palauta -1.
LSR
Käyttöohje: hadoop fs -<args>lsr
Komento. Samankaltainen kuin ls -R Unixissa.
mkdir
Näin käytetään: hadoop fs -mkdir <paths>
Hyväksy polun määrittelemä URI parametrina näiden hakemistojen luomiseksi. Se käyttäytyy kuin Unixin mkdir -p, joka luo vanhemmat hakemistot kaikilla polun tasoilla.
Esimerkki:
hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2
hadoop fs -mkdir hdfs://host1:port1/user/hadoop/dir hdfs://host2:port2/user/hadoop/dir
Palautusarvo:
Onnistuu palauttamaan nollan, ei palauta -1.
movefromLocalLocal
Miten käyttää: dfs -moveFromLocal <src> <dst>
Tuottaa viestin "ei toteutettu".
MV
Näin käytetään: hadoop fs -mv URI [URI ...] <dest>
Siirrä tiedostot lähdepolulta kohdepolulle. Tämä komento mahdollistaa useita lähdepolkuja, jolloin kohdepolun on oltava hakemisto. Tiedostojen siirtäminen eri tiedostojärjestelmien välillä ei ole sallittua.
Esimerkki:
hadoop fs -mv /user/hadoop/file1 /user/hadoop/file2
hadoop fs -mv hdfs://host:port/file1 hdfs://host:port/file2 hdfs://host:port/file3 hdfs://host:port/file3 hdfs://host:port/dir1
Palautusarvo:
Onnistuu palauttamaan nollan, ei palauta -1.
put
Näin käytetään: hadoop fs -put <localsrc> ... <dst>
Kopioi yksi tai useampi lähdepolku paikallisesta tiedostojärjestelmästä kohdetiedostojärjestelmään. Se tukee myös syötteiden lukemista tavallisista syötteistä ja niiden kirjoittamista kohdetiedostojärjestelmään.
hadoop fs -laita localfile /user/hadoop/hadoopfile
hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir
hadoop fs -put localfile hdfs://host:port/hadoop/hadoopfile
hadoop fs -put - hdfs://host:port/hadoop/hadoopfile
Lue syöte tavallisesta syötteestä.
Palautusarvo:
Onnistuu palauttamaan nollan, ei palauta -1.
RM
Näin käytetään: hadoop fs -rm URI [URI ...]
Poista määritetty tiedosto. Vain ei-tyhjät hakemistot ja tiedostot poistetaan. Lisätietoja saat rmr-komennosta rekursiivisesta poistosta.
Esimerkki:
hadoop fs -rm hdfs://host:port/file /user/hadoop/emptydir
Palautusarvo:
Onnistuu palauttamaan nollan, ei palauta -1.
RMR
Näin käytetään: hadoop fs -rmr URI [URI ...]
Poista.
Esimerkki:
hadoop fs -rmr /user/hadoop/dir
HaDoop FS -RMR HDFS://host:port/user/hadoop/dir
Palautusarvo:
Onnistuu palauttamaan nollan, ei palauta -1.
setrep
Näin käytetään: hadoop fs -setrep [-R<path>]
Muuta tiedoston kopiointikerroin. -R-vaihtoehtoa käytetään rekursiivisesti muuttamaan kaikkien hakemiston tiedostojen kopiointikerrointa.
Esimerkki:
hadoop fs -setrep -w 3 -R /user/hadoop/dir1
Palautusarvo:
Onnistuu palauttamaan nollan, ei palauta -1.
stat
Näin käytetään: hadoop fs -stat URI [URI ...]
Palauttaa tilastot määritellylle polulle.
Esimerkki:
Hadoop FS -stat-polku
Palautusarvo:
Onnistuu palauttamaan nollan, ei palauta -1.
häntä
Näin käytetään: hadoop fs -tail [-f] URI
Tulosta tiedoston viimeisten 1000 tavun sisältö stdoutiin. Tue -f-vaihtoehtoa, käyttäytyminen on yhdenmukaista Unixin kanssa.
Esimerkki:
Hadoop FS -hännän polkunimi
Palautusarvo:
Onnistuu palauttamaan nollan, ei palauta -1.
testi
Näin käytetään: hadoop fs -testi -[ezd] URI
Vaihtoehdot:
-e Tarkista, onko tiedosto olemassa. Palauttaa 0, jos läsnä.
-z Tarkista, onko tiedosto 0 tavua. Jos kyllä, palautetaan 0.
-d palauttaa arvon 1, jos polku on hakemisto, muuten 0.
Esimerkki:
hadoop fs -test -e tiedostonimi
Tekstiviesti
Näin käytetään: hadoop fs <src>-text
Lähdetiedosto tulostetaan tekstimuodossa. Sallittuja muotoja ovat zip ja TextRecordInputStream.
Touchz
Näin käytetään: hadoop fs -touchz URI [URI ...]
Luo tyhjä tiedosto, jossa on 0 tavua.
Esimerkki:
hadoop -touchz polun nimi
Palautusarvo:
Onnistuu palauttamaan nollan, ei palauta -1.
Viralliset linkit:Hyperlinkin kirjautuminen on näkyvissä.
|
Julkaistu 5.7.2019 15.29.44
|
|
|
|
