Co je to hadoop?
(1) Hadoop je open-source framework pro psaní a provoz distribuovaných aplikací pro zpracování rozsáhlých dat, navržený pro offline i rozsáhlou analýzu dat, a není vhodný pro online model zpracování transakcí založený na náhodných čtení a zápisech do několika záznamů. Hadoop = HDFS (souborový systém, technologie ukládání dat) + Mapreduce (zpracování dat), zdroj dat Hadoop může být v jakékoli formě, má lepší výkon než relační databáze při zpracování polostrukturovaných a nestrukturovaných dat a má flexibilnější možnosti zpracování, bez ohledu na to, zda bude nějaká datová forma nakonec převedena na klíč/hodnotu, klíč/hodnota je základní datová jednotka. Použijte funkční výrazy k nahrazení SQL Mapreduce, SQL je dotazovací příkaz a Mapreduce používá skripty a kód, zatímco pro relační databáze má Hadoop, který je zvyklý na SQL, místo toho open source nástrojový úl.
(2) Hadoop je distribuované výpočetní řešení.
Co může hadoop dělat?
V roce 2009 používalo HiveQL pro analýzu dat 30 % neprogramátorů na Facebooku. Hive se také používá pro vlastní filtry ve vyhledávání Taobao; Pig lze také použít pro pokročilé zpracování dat, včetně Twitteru a LinkedInu, kde můžete objevit osoby, které možná znáte, a může dosáhnout podobných efektům doporučení Amazon.com kolaborativního filtrování. Doporučuji také doporučení produktů Taobao! V Yahoo! 40 % Hadoop úloh je provozováno pomocí pig, včetně identifikace spamu a filtrování, stejně jako modelování uživatelských podpisů. (Nová aktualizace z 25. srpna 2012, doporučovací systém Tmall je hive, zkuste mahout v malém množství!) ）
Nejnovější verze adresy ke stažení hadoop: http://hadoop.apache.org/releases.html
Sestavte a nainstalujte Hadoop 2.x nebo novější na Windows, odkaz: https://wiki.apache.org/hadoop/Hadoop2OnWindows
1. Úvod
Hadoop verze 2.2 a vyšší zahrnuje nativní podporu pro Windows. Oficiální verze Apache Hadoop neobsahuje binárky Windows (k lednu 2014). Sestavení balíčku pro Windows ze zdrojového kódu je však poměrně jednoduché.
Hadoop je složitý systém s mnoha komponentami. Je užitečné se s tím trochu seznámit, než se pustíte do stavby nebo instalace, nebo na vyšší úrovni poprvé. Pokud potřebujete řešení problémů, musíte znát Javu.
Vývojáři Hadoopu používali při vývoji a testování Windows Server 2008 a Windows Server 2008 R2。 Windows Vista a Windows 7 mohou také fungovat díky podobnosti Win32 API s příslušným serverovým SKU. Netestovali jsme to na Windows XP ani na žádné starší verzi Windows, což je nepravděpodobné. Jakékoliv problémy nahlášené ve Windows XP nebo starších verzích budou považovány za neplatné.
Nesnažte se spustit instalaci v Cygwinu. Cygwin ji ani nežádá, ani nepodporuje.
|
Zveřejněno 08.12.2017 13:33:48
|
|
|
