Este artigo é um artigo espelhado de tradução automática, por favor clique aqui para ir para o artigo original.

Vista: 9718|Resposta: 3

Aprendi primeiro sobre Hadoop e big data HBase

[Copiar link]
Publicado em 27/12/2018 15:04:25 | | | |
Recentemente, a empresa precisa usar o hbase para armazenar uma grande quantidade de dados, e o gerente nos ensinou uma lição sobre o conhecimento relevante.
Meio Ambiente:

Sistema:

CentOS Linux versão 7.5.1804 (Core)

Comando:



Versão em Java:

Versão Java "1.8.0_191"
Java(TM) SE Runtime Environment (build 1.8.0_191-b12)
Java HotSpot(TM) Servidor VM de 64 bits (build 25.191-b12, modo misto)


Comando:



Versão Hadoop:

Hadoop 2.8.3
SubversãoO login do hiperlink está visível.-r b3fe56402d908019d99af1f1f4fc65cb1d1436a2
Compilado por jdu em 2017-12-05T03:43Z
Compilado com protoc 2.5.0
Da fonte com soma de verificação 9ff4856d824e983fa510d3f843e3f19d
Esse comando era executado usando /home/itsvse/apache/hadoop-2.8.3/share/hadoop/common/hadoop-common-2.8.3.jar


Comando:




Versão HBase:

2.1.1, rb60a92d6864ef27295027f5961cb46f9162d7637, sex 26 out 19:27:03 PDT 2018

Comando do Shell do Hbase:


O shell HBase pode ser iniciado usando o seguinte comando
[root@master ~]# encontrar / -nome "hbase"
/home/itsvse/apache/hbase-2.1.1/docs/testapidocs/org/apache/hadoop/hbase
/home/itsvse/apache/hbase-2.1.1/docs/testapidocs/org/apache/hbase
/home/itsvse/apache/hbase-2.1.1/docs/testapidocs/src-html/org/apache/hadoop/hbase
/home/itsvse/apache/hbase-2.1.1/docs/testapidocs/src-html/org/apache/hbase
/home/itsvse/apache/hbase-2.1.1/docs/apidocs/org/apache/hadoop/hbase
/home/itsvse/apache/hbase-2.1.1/docs/apidocs/org/apache/hbase
/home/itsvse/apache/hbase-2.1.1/docs/apidocs/src-html/org/apache/hadoop/hbase
/home/itsvse/apache/hbase-2.1.1/docs/apidocs/src-html/org/apache/hbase
/home/itsvse/apache/hbase-2.1.1/bin/hbase
/home/itsvse/apache/hbase-2.1.1/lib/ruby/hbase
[root@master ~]# cd /home/itsvse/apache/hbase-2.1.1/bin/
[root@master bin]# ./hbase shell
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/home/itsvse/apache/hadoop-2.8.3/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/home/itsvse/apache/hbase-2.1.1/lib/client-facing-thirdparty/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindingspara uma explicação.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]

HBase Shell
Use "ajuda" para obter a lista de comandos suportados.
Use "sair" para sair dessa shell interativa.
Para referência, por favor visite:http://hbase.apache.org/2.0/book.html#shell
Versão 2.1.1, rb60a92d6864ef27295027f5961cb46f9162d7637, sex 26 out 19:27:03 PDT 2018
Demorou 0,0050 segundos                                                                                                                                                            
hbase(main):001:0>
hbase(main):002:0*
hbase(main):003:0* versão
2.1.1, rb60a92d6864ef27295027f5961cb46f9162d7637, sex 26 out 19:27:03 PDT 2018
Levou 0,0006 segundos                                                                                                                                                            
hbase(main):004:0>


Introdução

Após a instalação do Hadoop ser iniciada com sucesso, execute o comando jps para verificar se o processo inicia com sucesso, se ele foi bem-sucedido (não testado).

[hadoop@master ~]$jps
O nó mestre aparecerá:
NameNode
JobTracker
NodoNomeSecundário

O nó slave1 aparece:
DateNode
TaskTracker

Slave2node aparece:
DateNode
TaskTracker


A versão HBase suportava a versão Hadoop

S significa suporte
X não é suportado
NT significa no test



Links de referência:O login do hiperlink está visível.

Alguns comandos básicos de operação do HBase Shell são listados da seguinte forma:

nomeExpressões de comando
Veja quais tabelas existemLista
Crie uma tabelacriar 'nome da tabela', 'nome da coluna 1', 'nome da coluna 2', 'nome da coluna N'
Adicionar um registroColoque 'nome da tabela', 'nome da linha', 'nome da coluna:', 'valor'
Veja o registroObtenha 'nome da tabela', 'nome da linha'
Veja o número total de registros na tabelaConde 'Nome da Tabela'
Exclua o registroExclua 'Nome da Tabela', 'Nome da Linha', 'Nome da Coluna'
Exclua uma tabelaA tabela deve ser bloqueada antes que a tabela possa ser excluída, o primeiro passo é desativar 'nome da tabela'. O segundo passo é eliminar 'nome da tabela'
Veja todos os registrosescanear "nome da tabela"
Veja todos os dados em uma determinada coluna de uma tabelaescaneie "nome da tabela", ['nome da coluna:']
Atualize o registroÉ reescrevê-lo e reverter


Entenda

Sistema de Arquivos Distribuídos Hadoop (HDFS), HBase é um projeto de armazenamento de dados baseado em Hadoop, e Hive é usado para análise de dados.

(Fim)






Anterior:Instalando o vim no CentOS 7 (não instalado por padrão)
Próximo:Pacote de presentes da Véspera de Ano Novo da Microsoft 2018: Produtos secos
 Senhorio| Publicado em 28/12/2018 15:15:53 |
Introdução à porta web do Hadoop:O login do hiperlink está visível.
Links para a versão mais recente:O login do hiperlink está visível.

Daemon
Notas
NameNode
A porta HTTP padrão é 50070.
ResourceManager
A porta HTTP padrão é 8088.
Servidor MapReduce JobHistory
A porta HTTP padrão é 19888.

A porta padrão para HBase Web é: 16010


Publicado em 06/01/2019 21:32:01 |
A QQ do mestre do altar fornece uma conexão
 Senhorio| Publicado em 05/07/2019 12:06:12 |


O Hadoop-3.1.1+ já suporta HBase-2.2.x.

Em 6 de fevereiro de 2019, foi lançada a versão 3.1.2 do Hadoop

O login do hiperlink está visível.
Disclaimer:
Todo software, material de programação ou artigos publicados pela Code Farmer Network são apenas para fins de aprendizado e pesquisa; O conteúdo acima não deve ser usado para fins comerciais ou ilegais, caso contrário, os usuários terão todas as consequências. As informações deste site vêm da Internet, e disputas de direitos autorais não têm nada a ver com este site. Você deve deletar completamente o conteúdo acima do seu computador em até 24 horas após o download. Se você gosta do programa, por favor, apoie um software genuíno, compre o registro e obtenha serviços genuínos melhores. Se houver qualquer infração, por favor, entre em contato conosco por e-mail.

Mail To:help@itsvse.com