Kaj je hadoop?
(1) Hadoop je odprtokodni okvir za pisanje in zagon distribuiranih aplikacij za obdelavo velikih podatkov, zasnovan za offline in obsežno analizo podatkov, in ni primeren za model spletne obdelave transakcij, ki vključuje naključna branja in zapise v več zapisov. Hadoop = HDFS (datotečni sistem, povezana s tehnologijo shranjevanja podatkov) + Mapreduce (obdelava podatkov), Hadoopov vir podatkov je lahko v katerikoli obliki, ima boljšo zmogljivost kot relacijske baze podatkov pri obdelavi polstrukturiranih in nestrukturiranih podatkov ter bolj prilagodljive zmogljivosti obdelave, ne glede na to, ali bo katerakoli oblika podatkov sčasoma pretvorjena v ključ/vrednost, ključ/vrednost je osnovna podatkovna enota. Uporabite funkcionalne izraze za zamenjavo SQL z Mapreduce, SQL je poizvedbeni stavek, Mapreduce uporablja skripte in kodo, medtem ko ima Hadoop, ki je navajen SQL, odprtokodni orodni hive.
(2) Hadoop je rešitev za distribuirano računalništvo.
Kaj lahko hadoop naredi?
Leta 2009 je 30 % neprogramerjev na Facebooku uporabljalo HiveQL za analizo podatkov. Hive se uporablja tudi za prilagojene filtre v iskanju Taobao; Pig se lahko uporablja tudi za napredno obdelavo podatkov, vključno s Twitterjem in LinkedInom, za odkrivanje ljudi, ki jih morda poznate, in lahko doseže Amazon.com podobne učinke sodelovalnega filtriranja priporočil. Priporočam tudi priporočila izdelkov Taobao! V Yahoo! 40 % Hadoop nalog se izvaja s pigom, vključno z identifikacijo in filtriranjem neželene pošte ter modeliranjem uporabniških podpisov. (Nova posodobitev 25. avgusta 2012, Tmallov sistem priporočil je hive, poskusite mahout v majhnih količinah!) ）
Najnovejša različica hadoop naslova za prenos: http://hadoop.apache.org/releases.html
Zgradite in namestite Hadoop 2.x ali novejši na Windows, povezava: https://wiki.apache.org/hadoop/Hadoop2OnWindows
1. Uvod
Hadoop različica 2.2 in višja vključuje nativno podporo za Windows. Uradna različica Apache Hadoop ne vključuje Windows binarnih datotek (stanje januar 2014). Vendar je izdelava Windows paketa iz izvorne kode precej preprosta.
Hadoop je kompleksen sistem z mnogimi komponentami. Koristno je, da se najprej seznanite, preden začnete graditi ali namestiti, ali pa prvič na visoki ravni. Če potrebujete odpravljanje težav, morate poznati Javo.
Razvijalci Hadoopa so med razvojem in testiranjem uporabljali Windows Server 2008 in Windows Server 2008 R2。 Windows Vista in Windows 7 lahko prav tako delujeta zaradi podobnosti Win32 API-ja z ustreznim strežniškim SKU-jem. Nismo ga testirali na Windows XP ali katerikoli starejši različici Windows, kar je malo verjetno. Vse težave, prijavljene v Windows XP ali starejših različicah, bodo obravnavane kot neveljavne.
Ne poskušajte zagnati namestitve v Cygwinu. Cygwin tega ne zahteva niti ne podpira.
|
Objavljeno na 8. 12. 2017 13:33:48
|
|
|
