Hadoopを始める前に理解しておくべきです

クズども · 掲載地 2017/12/08 13:33:48

ハドゥープとは何ですか?
(1)Hadoopは、大規模データを処理するための分散アプリケーションを書いて実行するためのオープンソースフレームワークであり、オフラインおよび大規模のデータ解析向けに設計されていますが、複数のレコードに対するランダムな読み書きというオンライントランザクション処理モデルには適していません。 Hadoop = HDFS(ファイルシステム、データストレージ技術関連)+ Mapreduce(データ処理)。Hadoopのデータソースはあらゆる形態で、半構造化および非構造化データの処理においてリレーショナルデータベースよりも性能が優れており、最終的にキー/値に変換されるデータフォームがキー/値に変換されるかどうかに関わらず、より柔軟な処理能力を持っています。キー/値が基本的なデータ単位です。 SQLをMapreduceに置き換えるために関数式を使い、SQLはクエリ文であり、Mapreduceはスクリプトとコードを使用します。一方、リレーショナルデータベースにはSQLに慣れているHadoopがオープンソースのツールハイブを持っています。
(2)Hadoopは分散コンピューティングソリューションです。

Hadoopは何ができるのでしょうか?
2009年には、Facebookの非プログラマーの30%がデータ分析にHiveQLを使用していました。 Hiveは淘宝検索のカスタムフィルターにも使われています。 Pigはまた、TwitterやLinkedInを使って知り合いを発見する高度なデータ処理にも使え、Amazon.com 的な協調的なフィルタリング効果を実現できます。淘宝のおすすめ商品もおすすめです! Yahoo!で Hadoopジョブの40%は、スパム識別やフィルタリング、ユーザー署名モデリングを含む豚で実行されています。 (2012年8月25日の新アップデート、Tmallの推薦システムは「ハイブ」、少量のマホウトを試してみてください!) ）
最新バージョンのhadoopダウンロードアドレス:http://hadoop.apache.org/releases.html

WindowsでHadoop 2.x以降をビルド・インストールしてください。リンク:https://wiki.apache.org/hadoop/Hadoop2OnWindows

1. はじめに

Hadoopバージョン2.2以降はWindowsのネイティブサポートを含んでいます。公式のApache Hadoopバージョンには(2014年1月時点で)Windowsバイナリは含まれていません。しかし、ソースからWindowsパッケージを構築するのは比較的簡単です。

Hadoopは多くのコンポーネントを持つ複雑なシステムです。組み立てや設置を試みる前、あるいは初めての大まかなレベルでの経験を積むと役立ちます。トラブルシューティングが必要なら、Javaに慣れている必要があります。

Hadoop開発者は開発とテストの際にWindows Server 2008およびWindows Server 2008 R2を使用していました。 Windows VistaやWindows 7も、それぞれのサーバーSKUとWin32 APIが類似しているため動作する可能性があります。 Windows XPやそれ以前のWindowsでテストしたことはなく、それは可能性が低いです。 Windows XP以前のバージョンで報告された問題は無効とみなされます。

Cygwinでインストールを実行しようとしないでください。シグウィンはそれを要求も支持もしません。

Hadoopを始める前に理解しておくべきです

関連記事

閲覧したセクション