Operazioni API per Hadoop - HDFS

Piccola feccia · Pubblicato su 05/07/2019 16:33:58

1. Introdurre dipendenza

Nota: Se devi importare manualmente il pacchetto jar, il pacchetto jar HDFS ---- la directory di installazione Hadoop sotto condivisione

2. Descrizione dello sviluppo sotto finestra

Si consiglia di sviluppare applicazioni Hadoop sotto Linux e non ci saranno problemi di compatibilità. Se vuoi sviluppare un'applicazione client su Windows, devi configurare il seguente ambiente:

R. Scomprimi un pacchetto di installazione Hadoop in una directory su Windows

B. Sostituire le directory lib e bin nel pacchetto di installazione con le librerie locali compilate per la corrispondente versione Windows della piattaforma

C. Configura il HADOOP_HOME nel sistema a finestre per indicare il pacchetto di installazione che hai sbloccato

D. Aggiungere la cartella bin di Hadoop alla variabile path del sistema Windows

Per far funzionare HDFS in Java, prima devi ottenere un'istanza client

L'accesso è visibile.

Il nostro target operativo è HDFS, quindi l'oggetto fs ottenuto dovrebbe essere un'istanza di DistributedFileSystem.

Metodo Get: Da dove proviene la specifica classe client dell'istanza?

- Giudicando dal valore di configurazione di uno dei parametri fs.defaultFS in conf;

Se non specifichiamo fs.defaultFS nel nostro codice, e non c'è una configurazione corrispondente indicata sotto il percorso di classe del progetto, il valore predefinito in conf proviene dal core-default.xml nel package jar hadoop, e il valore predefinito è: file:///, allora l'acquisizione non sarà un'istanza di DistributedFileSystem, ma un oggetto client del file system locale;

Aggiunta, cancellazione, modifica e ispezione dei documenti

L'accesso è visibile.

Accedi a HDFS tramite streaming

L'accesso è visibile.

[Fonte] Operazioni API per Hadoop - HDFS

Post correlati

Sezioni visualizzate