하둡이란 무엇인가요?
(1) Hadoop은 대규모 데이터를 처리하기 위한 분산 애플리케이션을 작성하고 실행하는 오픈소스 프레임워크로, 오프라인 및 대규모 데이터 분석을 위해 설계되었으나, 여러 레코드에 대한 무작위 읽기 및 쓰기 온라인 트랜잭션 처리 모델에는 적합하지 않습니다. Hadoop = HDFS(파일 시스템, 데이터 저장 기술 관련) + Mapreduce(데이터 처리)입니다. Hadoop의 데이터 소스는 어떤 형태로든 가능하며, 반구조화 및 비구조화 데이터 처리 성능이 관계형 데이터베이스보다 우수하고, 데이터 폼이 키/값으로 변환되든 상관없이 더 유연한 처리 능력을 제공합니다. 키/값은 기본 데이터 단위입니다. 함수식 사용으로 SQL을 Mapreduce로 대체합니다. SQL은 쿼리 문이고 Mapreduce는 스크립트와 코드를 사용하며, 관계형 데이터베이스에는 SQL에 익숙한 Hadoop이 오픈 소스 툴 하이브를 사용합니다.
(2) 하둡은 분산 컴퓨팅 솔루션입니다.
하둡은 무엇을 할 수 있나요?
2009년에는 페이스북의 비프로그래머 중 30%가 데이터 분석을 위해 HiveQL을 사용했습니다. Hive는 타오바오 검색에서 맞춤 필터에도 사용됩니다; Pig는 트위터와 링크드인을 활용해 아는 사람을 발견하는 고급 데이터 처리에도 활용될 수 있으며, Amazon.com 유사한 협업 필터링 효과를 낼 수 있습니다. 타오바오의 제품 추천도 추천합니다! 야후! Hadoop 작업의 40%는 스팸 식별 및 필터링, 사용자 서명 모델링을 포함한 pig로 실행됩니다. (2012년 8월 25일 새 업데이트, Tmall의 추천 시스템은 벌집, 소량으로 마후트를 시도해보세요!) ）
최신 버전의 하둡 다운로드 주소: http://hadoop.apache.org/releases.html
윈도우에서 Hadoop 2.x 이후 버전을 빌드하고 설치하세요, 링크: https://wiki.apache.org/hadoop/Hadoop2OnWindows
1. 서론
Hadoop 버전 2.2 이상은 Windows 기본 지원을 포함하고 있습니다. 공식 Apache Hadoop 버전에는 윈도우 바이너리가 포함되어 있지 않습니다(2014년 1월 기준). 하지만 소스 소스에서 Windows 패키지를 만드는 것은 꽤 간단합니다.
하둡은 많은 구성 요소가 있는 복잡한 시스템입니다. 조립이나 설치를 시도하거나 고수준으로 처음 시도하기 전에 어느 정도 익숙해지는 것이 도움이 됩니다. 문제 해결이 필요하다면, 자바에 익숙해야 합니다.
하둡 개발자들은 개발 및 테스트 과정에서 Windows Server 2008과 Windows Server 2008 R2를 사용했습니다。 Windows Vista와 Windows 7도 Win32 API가 해당 서버 SKU와 유사하기 때문에 작동할 수 있습니다. Windows XP나 이전 버전의 Windows에서는 테스트하지 않았는데, 가능성은 낮습니다. Windows XP 또는 그 이전 버전에서 보고된 문제는 무효로 간주됩니다.
Cygwin에서 설치를 실행하려고 하지 마세요. 사이그윈은 그것을 요청하지도 지지하지도 않습니다.
|
게시됨 2017. 12. 8. 오후 1:33:48
|
|
|
