Ця стаття є дзеркальною статтею машинного перекладу, будь ласка, натисніть тут, щоб перейти до оригінальної статті.

Вид: 9718|Відповідь: 3

Вперше я дізнався про Hadoop і HBase великі дані

[Копіювати посилання]
Опубліковано 27.12.2018 15:04:25 | | | |
Нещодавно компанії потрібно використовувати hbase для зберігання великої кількості даних, і менеджер дав нам урок щодо відповідних знань.
Навколишнє середовище:

Система:

CentOS Linux версія 7.5.1804 (Core)

Команда:



Java-версія:

Java-версія "1.8.0_191"
Java(TM) SE Runtime Environment (збірка 1.8.0_191-b12)
Java HotSpot(TM) 64-бітна серверна VM (збірка 25.191-b12, змішаний режим)


Команда:



Версія Hadoop:

Hadoop 2.8.3
ПідривВхід за гіперпосиланням видно.-r B3fe56402d908019d99af1f1f4fc65cb1d1436a2
Складено jdu 2017-12-05T03:43Z
Скомпільовано з protoc 2.5.0
З джерела з контрольною сумою 9ff4856d824e983fa510d3f843e3f19d
Ця команда виконувалася за допомогою /home/itsvse/apache/hadoop-2.8.3/share/hadoop/common/hadoop-common-2.8.3.jar


Команда:




Версія для HBase:

2.1.1, rb60a92d6864ef27295027f5961cb46f9162d7637, пт 26 жовтня 19:27:03 PDT 2018

Команда оболонки HBASE:


Оболонку HBase можна запустити за допомогою наступної команди
[root@master ~]# знайти / -ім'я "hbase"
/home/itsvse/apache/hbase-2.1.1/docs/testapidocs/org/apache/hadoop/hbase
/home/itsvse/apache/hbase-2.1.1/docs/testapidocs/org/apache/hbase
/home/itsvse/apache/hbase-2.1.1/docs/testapidocs/src-html/org/apache/hadoop/hbase
/home/itsvse/apache/hbase-2.1.1/docs/testapidocs/src-html/org/apache/hbase
/home/itsvse/apache/hbase-2.1.1/docs/apidocs/org/apache/hadoop/hbase
/home/itsvse/apache/hbase-2.1.1/docs/apidocs/org/apache/hbase
/home/itsvse/apache/hbase-2.1.1/docs/apidocs/src-html/org/apache/hadoop/hbase
/home/itsvse/apache/hbase-2.1.1/docs/apidocs/src-html/org/apache/hbase
/home/itsvse/apache/hbase-2.1.1/bin/hbase
/home/itsvse/apache/hbase-2.1.1/lib/ruby/hbase
[root@master ~]# CD /home/itsvse/apache/hbase-2.1.1/bin/
[root@master bin]# ./hbase shell
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/home/itsvse/apache/hadoop-2.8.3/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/home/itsvse/apache/hbase-2.1.1/lib/client-facing-thirdparty/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindingsДля пояснення.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]

HBase Shell
Використовуйте «help», щоб отримати список підтримуваних команд.
Використовуйте «exit», щоб вийти з цієї інтерактивної оболонки.
Для довідки, будь ласка, відвідайте:http://hbase.apache.org/2.0/book.html#shell
Версія 2.1.1, rb60a92d6864ef27295027f5961cb46f9162d7637, пт 26 жовтня 19:27:03 PDT 2018
Це зайняло 0,0050 секунди                                                                                                                                                            
hbase(main):001:0>
hbase(main):002:0*
hbase(main):003:0* версія
2.1.1, rb60a92d6864ef27295027f5961cb46f9162d7637, пт 26 жовтня 19:27:03 PDT 2018
Зайняло 0,0006 секунди                                                                                                                                                            
hbase(main):004:0>


Введення

Після успішного запуску встановлення Hadoop виконайте команду jps, щоб перевірити, чи процес успішно запускається (не протестовано).

[hadoop@master ~]$jps
З'явиться майстернод:
NameNode
JobTracker
SecondaryNameNode

З'являється вузол Slave1:
DateNode
TaskTracker

Slave2node з'являється:
DateNode
TaskTracker


Версія HBase підтримувала версію Hadoop

S означає підтримку
X не підтримується
NT означає відсутність тесту



Посилання на посилання:Вхід за гіперпосиланням видно.

Деякі базові команди роботи HBase Shell наведені нижче:

Ім'яВирази команд
Подивіться, які таблиці існуютьСписок
Створіть таблицюстворити 'ім'я таблиці', 'ім'я стовпця 1', 'ім'я колонки 2', 'ім'я стовпця N'
Додай записвказуйте 'Table name', 'row name', 'column name:', 'value'
Переглянути записВказуйте 'Table name', 'Row name'
Перегляньте загальну кількість записів у таблиціcount 'table name'
Видалити записВидалити 'Ім'я таблиці', 'Ім'я рядка', 'Назва стовпця'
Видалити таблицюТаблицю потрібно заблокувати, перш ніж її можна видалити, перший крок — вимкнути 'ім'я таблиці. Другий крок — видалити 'ім' таблиці.
Переглянути всі записиСканування «Назва таблиці»
Перегляньте всі дані у певному стовпці таблиціВідскануйте "Ім'я таблиці" , ['Назва стовпця:']
Оновити записЦе переписати і повернути назад


Зрозумій

Hadoop Distributed File System (HDFS), HBase — це проєкт зберігання даних на основі Hadoop, а Hive використовується для аналізу даних.

(Кінець)






Попередній:Встановлення vim на CentOS 7 (за замовчуванням не встановлено)
Наступний:Подарунковий пакет сухих товарів до Нового року Microsoft 2018
 Орендодавець| Опубліковано 28.12.2018 15:15:53 |
Вступ до веб-порту Hadoop:Вхід за гіперпосиланням видно.
Посилання на останню версію:Вхід за гіперпосиланням видно.

Деймон
Примітки
NameNode
Стандартний HTTP-порт — 50070.
ResourceManager
Стандартний HTTP-порт — 8088.
MapReduce JobHistory Server
Стандартний HTTP-порт — 19888.

Порт за замовчуванням для HBase Web: 16010


Опубліковано 06.01.2019 21:32:01 |
Вівтарник QQ дає з'єднання
 Орендодавець| Опубліковано 05.07.2019 12:06:12 |


Hadoop-3.1.1+ вже підтримує HBase-2.2.x.

6 лютого 2019 року вийшла версія Hadoop 3.1.2

Вхід за гіперпосиланням видно.
Застереження:
Усе програмне забезпечення, програмні матеріали або статті, опубліковані Code Farmer Network, призначені лише для навчання та досліджень; Вищезазначений контент не повинен використовуватися в комерційних чи незаконних цілях, інакше користувачі несуть усі наслідки. Інформація на цьому сайті надходить з Інтернету, і спори щодо авторських прав не мають до цього сайту. Ви повинні повністю видалити вищезазначений контент зі свого комп'ютера протягом 24 годин після завантаження. Якщо вам подобається програма, будь ласка, підтримуйте справжнє програмне забезпечення, купуйте реєстрацію та отримайте кращі справжні послуги. Якщо є будь-яке порушення, будь ласка, зв'яжіться з нами електронною поштою.

Mail To:help@itsvse.com