Mi az a hadoop?
(1) A Hadoop egy nyílt forráskódú keretrendszer elosztott alkalmazások írásához és futtatásához nagyléptékű adatok feldolgozására, offline és nagyszabású adatelemzésre tervezve, és nem alkalmas online tranzakciófeldolgozási modellre, ahol véletlenszerű olvasásokat és írásokat végeznek több rekordhoz. Hadoop = HDFS (fájlrendszer, adattároló technológiához kapcsolódik) + Mapreduce (adatfeldolgozás), a Hadoop adatforrása bármilyen formában lehet, jobb teljesítményt nyújt a relációs adatbázisokhoz képest félig strukturált és strukturálatlan adatok feldolgozásában, és rugalmasabb feldolgozási képességekkel rendelkezik, függetlenül attól, hogy bármely adatforma végül kulcs/érték lesz-e átalakítva, kulcs/érték az alapegység. Funkcionális kifejezéseket használunk az SQL helyettesítésére Mapreduce-ra, az SQL lekérdezési utasítás, a Mapreduce pedig szkripteket és kódot használ, míg relációs adatbázisok esetén a Hadoop, amely hozzászokott az SQL-hez, nyílt forráskódú eszköztárat használ.
(2) A Hadoop egy elosztott számítástechnikai megoldás.
Mit tehet a hadoop?
2009-ben a nem programozó Facebook 30%-a használt HiveQL-t adatelemzésre. A Hive-et egyedi szűrőkre is használják a Taobao keresésben; A Pig fejlett adatfeldolgozásra is használható, például Twitteren és LinkedInen is, hogy felfedezze azokat az embereket, akiket ismersz, és Amazon.com-szerű, együttműködő szűrési ajánlási hatásokat érhet el. A Taobao termékajánlásai is ajánlottak! A Yahoo!-ban A Hadoop munka 40%-át disznókkal futtatják, beleértve a spam azonosítást és szűrést, valamint a felhasználói aláírásmodellezést. (Új frissítés 2012. augusztus 25-én, a Tmall ajánlórendszere hive, próbáld ki kis mennyiségben a mahoutot!) ）
A hadoop legfrissebb letöltési címe: http://hadoop.apache.org/releases.html
Építsd és telepítsd a Hadoop 2.x vagy újabb verziót Windowsra, link: https://wiki.apache.org/hadoop/Hadoop2OnWindows
1. Bevezetés
A Hadoop 2.2-es és újabb verzió natív Windows-támogatást tartalmaz. Az Apache Hadoop hivatalos verzió nem tartalmazza Windows bináris rendszereket (2014 januárjától). Azonban a Windows csomag forrásból történő építése viszonylag egyszerű.
A Hadoop egy összetett rendszer, amely sok komponensből áll. Hasznos egy kis megismerkedést végezni az építkezés vagy telepítés előtt, vagy első szinten magas szinten. Ha hibakeresésre van szükséged, ismerned kell a Java-t.
A Hadoop fejlesztői a fejlesztés és tesztelés során Windows Server 2008-at és Windows Server 2008 R2-t használták。 A Windows Vista és a Windows 7 is működhet a Win32 API hasonlósága miatt a megfelelő szerver SKU-jával. Még nem teszteltük Windows XP-n vagy bármelyik korábbi Windows-verzión, ami valószínűtlen. A Windows XP-ben vagy korábbi verziókban jelentett problémák érvénytelennek minősülnek.
Ne próbáld meg a telepítést a Cygwinben futtatni. A Cygwin sem kéri, sem támogatja.
|
Közzétéve 2017. 12. 08. 13:33:48
|
|
|
