Kas yra hadoop?
(1) "Hadoop" yra atvirojo kodo sistema, skirta paskirstytoms programoms rašyti ir paleisti didelio masto duomenims apdoroti, skirta neprisijungus ir didelio masto duomenų analizei, ir netinka atsitiktinių nuskaitymų ir rašymų į kelis įrašus internetiniam operacijų apdorojimo modeliui. Hadoop = HDFS (failų sistema, duomenų saugojimo technologija susiję) + Mapreduce (duomenų apdorojimas), Hadoop duomenų šaltinis gali būti bet kokios formos, jis turi geresnį našumą nei reliacinės duomenų bazės apdorojant pusiau struktūrizuotus ir nestruktūrizuotus duomenis ir turi lankstesnes apdorojimo galimybes, nepriklausomai nuo to, ar bet kuri duomenų forma galiausiai bus konvertuota į raktą / vertę, raktas / vertė yra pagrindinis duomenų vienetas. Naudokite funkcines išraiškas, kad pakeistumėte SQL į Mapreduce, SQL yra užklausos sakinys, o Mapreduce naudoja scenarijus ir kodą, o reliacinėms duomenų bazėms Hadoop, kuri yra įpratusi prie SQL, turi atvirojo kodo įrankių avilį.
(2) "Hadoop" yra paskirstytas skaičiavimo sprendimas.
Ką gali padaryti hadoop?
2009 m. 30% ne programuotojų "Facebook" naudojo HiveQL duomenų analizei. Avilys taip pat naudojamas pasirinktiniams filtrams Taobao paieškoje; "Pig" taip pat gali būti naudojamas pažangiam duomenų apdorojimui, įskaitant "Twitter" ir "LinkedIn", kad atrastų pažįstamus žmones, ir gali pasiekti Amazon.com panašų bendradarbiavimo filtravimo rekomendacijų efektą. Taip pat rekomenduojamos "Taobao" produktų rekomendacijos! Programoje "Yahoo! 40 % "Hadoop" užduočių vykdomos su kiaulėmis, įskaitant šlamšto identifikavimą ir filtravimą, taip pat vartotojo parašų modeliavimą. (Naujas atnaujinimas 2012 m. rugpjūčio 25 d., Tmall rekomendacijų sistema yra avilys, išbandykite mahout nedideliais kiekiais!) ）
Naujausia "hadoop" atsisiuntimo adreso versija: http://hadoop.apache.org/releases.html
Sukurkite ir įdiekite "Hadoop 2.x" ar naujesnę versiją sistemoje "Windows", nuoroda: https://wiki.apache.org/hadoop/Hadoop2OnWindows
1. Įvadas
"Hadoop" 2.2 ir naujesnės versijos apima vietinį "Windows" palaikymą. Oficialioje "Apache Hadoop" versijoje nėra "Windows" dvejetainių failų (nuo 2014 m. sausio mėn.). Tačiau sukurti "Windows" paketą iš šaltinio yra gana paprasta.
"Hadoop" yra sudėtinga sistema, turinti daug komponentų. Naudinga šiek tiek susipažinti prieš bandant kurti ar įdiegti arba pirmą kartą aukštu lygiu. Jei jums reikia trikčių šalinimo, turite būti susipažinę su Java.
"Hadoop" kūrėjai kūrimo ir testavimo metu naudojo "Windows Server 2008" ir "Windows Server 2008 R2"。 "Windows Vista" ir "Windows 7" taip pat gali veikti dėl "Win32" API panašumo į atitinkamą serverio SKU. Mes jo neišbandėme "Windows XP" ar bet kurioje ankstesnėje "Windows" versijoje, o tai mažai tikėtina. Visos problemos, apie kurias pranešta naudojant "Windows XP" ar ankstesnes versijas, bus laikomos negaliojančiomis.
Nebandykite paleisti diegimo Cygwin. Cygwin nei prašo, nei palaiko.
|
Paskelbta 2017-12-08 13:33:48
|
|
|
