Operações de API para Hadoop - HDFS

Pequeno · Publicado em 05/07/2019 16:33:58

1. Introduzir dependência

Nota: Se você precisar importar manualmente o pacote jar, o pacote jar HDFS ---- o diretório de instalação do Hadoop em compartilhar

2. Descrição do desenvolvimento sob janela

Recomenda-se desenvolver aplicações Hadoop sob Linux, e não haverá problemas de compatibilidade. Se você quiser desenvolver uma aplicação cliente no Windows, precisa configurar o seguinte ambiente:

R. Descompacte um pacote de instalação do Hadoop em um diretório no Windows

B. Substituir os diretórios lib e bin no pacote de instalação pelas bibliotecas locais compiladas para a versão correspondente de Windows da plataforma

C. Configure o HADOOP_HOME no sistema de janelas para apontar para o pacote de instalação que você descompactou

D. Adicionar o diretório bin do Hadoop à variável path do sistema Windows

Para operar o HDFS em Java, primeiro você precisa obter uma instância cliente

O login está visível.

Nosso alvo de operação é HDFS, então o objeto fs obtido deve ser uma instância do DistributedFileSystem.

Método Get: De onde vem a classe cliente específica da instância?

- Julgando pelo valor de configuração de um dos parâmetros fs.defaultFS em conf;

Se não especificarmos fs.defaultFS em nosso código, e não houver configuração correspondente dada sob a class path do projeto, o valor padrão na conf vem da core-default.xml no pacote jar do hadoop, e o valor padrão é: file:///, então a aquisição não será uma instância do DistributedFileSystem, mas um objeto cliente do sistema de arquivos local;

Adição, exclusão, modificação e inspeção de documentos

O login está visível.

Acesse o HDFS via stream

O login está visível.

[Fonte] Operações de API para Hadoop - HDFS

Posts Relacionados

Seções visualizadas