Hadoop nedir?
(1) Hadoop, büyük ölçekli verileri işlemek için dağıtık uygulamalar yazmak ve çalıştırmak için açık kaynaklı bir çerçevedir; çevrimdışı ve büyük ölçekli veri analizi için tasarlanmıştır ve birden fazla kayda rastgele okuma ve yazma işlemlerinin çevrimiçi işlem işleme modeli için uygun değildir. Hadoop = HDFS (dosya sistemi, veri depolama teknolojisi ile ilgili) + Mapreduce (veri işleme), Hadoop'un veri kaynağı herhangi bir biçimde olabilir, yarı yapılandırılmış ve yapılandırılmamış verileri işlemede ilişkisel veritabanlarından daha iyi performansa sahiptir ve herhangi bir veri formunun sonunda anahtar/değere dönüştürülüp dönüştürülmediği önemli olmaksızın, anahtar/değer temel veri birimidir. SQL'i Mapreduce ile koymak için fonksiyonel ifadeler kullanın, SQL bir sorgu ifadesidir ve Mapreduce betik ve kod kullanır; ilişkisel veritabanları için ise SQL'e alışkın olan Hadoop açık kaynaklı bir araç kovanına sahiptir.
(2) Hadoop, dağıtık bir hesaplama çözümüdür.
Hadoop ne yapabilir?
2009 yılında, Facebook'taki programlayıcı olmayanların %30'u veri analizi için HiveQL kullandı. Hive ayrıca Taobao aramasında özel filtreler için de kullanılır; Domuz ayrıca Twitter ve LinkedIn gibi gelişmiş veri işleme için de kullanılabilir; tanıdığınız kişileri keşfetmek ve Amazon.com gibi işbirlikçi filtreleme önerileri elde edebilir. Taobao'nun ürün önerileri de tavsiye edilir! Yahoo!'da Hadoop işlerinin %40'ı domuz ile yürütülüyor; spam tanımlama ve filtreleme ile kullanıcı imzası modellemesi dahil. (25 Ağustos 2012'deki yeni güncelleme, Tmall'ın öneri sistemi hive, az miktarda mahout deneyin!) ）
Hadoop'un en son sürüm adresi: http://hadoop.apache.org/releases.html
Windows'ta Hadoop 2.x veya daha sonrasını oluşturup kur, bağlantı: https://wiki.apache.org/hadoop/Hadoop2OnWindows
1. Giriş
Hadoop sürüm 2.2 ve üzeri, Windows için yerel destek içerir. Resmi Apache Hadoop sürümü Windows ikili dosyalarını içermemektedir (Ocak 2014 itibarıyla). Ancak, kaynaktan Windows paketi oluşturmak oldukça basittir.
Hadoop, birçok bileşeni olan karmaşık bir sistemdir. İnşaya ya da kuruluma başlamadan önce ya da ilk kez üst düzeyde bir seviyede biraz alıştırmak faydalı. Sorun gidermeye ihtiyacınız varsa, Java'ya aşina olmalısınız.
Hadoop geliştiricileri, geliştirme ve test sırasında Windows Server 2008 ve Windows Server 2008 R2 kullandılar。 Windows Vista ve Windows 7 de Win32 API'sinin ilgili sunucu SKU'suna benzerliği nedeniyle çalışabilir. Windows XP veya daha önceki Windows sürümlerinde test etmedik, bu pek olası değil. Windows XP veya önceki sürümlerde bildirilen herhangi bir sorun geçersiz sayılır.
Kurulumu Cygwin'de çalıştırmaya çalışma. Cygwin ne istemiyor ne de destekliyor.
|
Yayınlandı 8.12.2017 13:33:48
|
|
|
