O que é Hadoop?
(1) Hadoop é um framework de código aberto para escrever e rodar aplicações distribuídas para processar dados em grande escala, projetado para análise de dados offline e em larga escala, e não é adequado para o modelo de processamento de transações online com leituras e gravações aleatórias em vários registros. Hadoop = HDFS (sistema de arquivos, tecnologia de armazenamento de dados relacionados) + Mapreduce (processamento de dados), a fonte de dados do Hadoop pode ser de qualquer forma, tem desempenho melhor do que bancos de dados relacionais no processamento de dados semiestruturados e não estruturados, e possui capacidades de processamento mais flexíveis, independentemente de qualquer forma de dado eventualmente ser convertida em chave/valor, chave/valor é a unidade básica de dados. Use expressões funcionais para substituir SQL pelo Mapreduce, SQL é uma instrução de consulta, e Mapreduce usa scripts e código, enquanto para bancos de dados relacionais, o Hadoop, que está acostumado a SQL, possui uma colmeia de ferramentas open source.
(2) Hadoop é uma solução de computação distribuída.
O que Hadoop pode fazer?
Em 2009, 30% dos não programadores no Facebook usavam o HiveQL para análise de dados. Hive também é usado para filtros personalizados na busca Taobao; O Pig também pode ser usado para processamento avançado de dados, incluindo Twitter e LinkedIn, para descobrir pessoas que você possa conhecer, e pode alcançar efeitos de recomendação colaborativa semelhantes aos Amazon.com. As recomendações de produtos da Taobao também são recomendadas! No Yahoo! Os 40% dos trabalhos do Hadoop são executados com pig, incluindo identificação e filtragem de spam, além de modelagem de assinatura de usuário. (Nova atualização em 25 de agosto de 2012, o sistema de recomendação da Tmall é o Hive, tente o Mahout em pequenas quantidades!) ）
A versão mais recente do Hadoop para download: http://hadoop.apache.org/releases.html
Construa e instale Hadoop 2.x ou versão posterior no Windows, link: https://wiki.apache.org/hadoop/Hadoop2OnWindows
1. Introdução
A versão 2.2 e superiores do Hadoop inclui suporte nativo para Windows. A versão oficial do Apache Hadoop não inclui binários do Windows (em janeiro de 2014). No entanto, construir um pacote para Windows a partir da fonte é relativamente simples.
Hadoop é um sistema complexo com muitos componentes. É útil se familiarizar um pouco antes de tentar construir ou instalar, ou em um nível alto pela primeira vez. Se você precisa de solução de problemas, precisa estar familiarizado com Java.
Desenvolvedores do Hadoop usaram o Windows Server 2008 e o Windows Server 2008 R2 durante o desenvolvimento e os testes。 Windows Vista e Windows 7 também podem funcionar devido à semelhança da API Win32 com o respectivo SKU de servidor. Não testamos no Windows XP nem em nenhuma versão anterior do Windows, o que é improvável. Qualquer problema relatado no Windows XP ou versões anteriores será considerado inválido.
Não tente rodar a instalação no Cygwin. Cygwin não pede nem apoia isso.
|
Publicado em 08/12/2017 13:33:48
|
|
|
