私は初めてHadoopとHBaseのビッグデータを知りました

クズども · 掲載地 2018/12/27 15:04:25

最近、会社は大量のデータを保存するためにhbaseを使う必要があり、マネージャーから関連知識について教訓を受けました。
環境:

システム:

CentOS Linux リリース 7.5.1804(コア)

命令：

Javaバージョン:

Java バージョン "1.8.0_191"
Java(TM) SE ランタイム環境(ビルド 1.8.0_191-b12)
Java HotSpot(TM) 64ビットサーバーVM(ビルド25.191-b12、ミックスモード)

命令：

ログインが見えます。

Hadoop版:

Hadoop 2.8.3
破壊活動ハイパーリンクのログインが見えます。-R B3FEE56402D908019D99af1F1F4FC65CB1D1436A2
jduによる2017年12月5日03:43Z編集
protoc 2.5.0でコンパイル
ソースからチェックサム9ff4856d824e983fa510d3f843e3f19d
このコマンドは /home/itsvse/apache/hadoop-2.8.3/share/hadoop/common/hadoop-common-2.8.3.jar を使って実行されました

命令：

ログインが見えます。

HBaseバージョン:

2.1.1, rb60a92d6864ef27295027f5961cb46f9162d7637, 2018年10月26日金曜日 19:27:03 PDT

hbaseシェルコマンド:

ログインが見えます。

HBaseシェルは以下のコマンドで起動できます

ログインが見えます。

[root@master ~]# Find / -名前「hbase」
/home/itsvse/apache/hbase-2.1.1/docs/testapidocs/org/apache/hadoop/hbase
/home/itsvse/apache/hbase-2.1.1/docs/testapidocs/org/apache/hbase
/home/itsvse/apache/hbase-2.1.1/docs/testapidocs/src-html/org/apache/hadoop/hbase
/home/itsvse/apache/hbase-2.1.1/docs/testapidocs/src-html/org/apache/hbase
/home/itsvse/apache/hbase-2.1.1/docs/apidocs/org/apache/hadoop/hbase
/home/itsvse/apache/hbase-2.1.1/docs/apidocs/org/apache/hbase
/home/itsvse/apache/hbase-2.1.1/docs/apidocs/src-html/org/apache/hadoop/hbase
/home/itsvse/apache/hbase-2.1.1/docs/apidocs/src-html/org/apache/hbase
/home/itsvse/apache/hbase-2.1.1/bin/hbase
/home/itsvse/apache/hbase-2.1.1/lib/ruby/hbase

[root@master ~]# CD /home/itsvse/apache/hbase-2.1.1/bin/
[root@masterビン]# ./hbaseシェル
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/home/itsvse/apache/hadoop-2.8.3/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/home/itsvse/apache/hbase-2.1.1/lib/client-facing-thirdparty/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings説明を求めて。
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]

HBase シェル
「ヘルプ」を使ってサポートされているコマンドのリストを取得してください。
このインタラクティブシェルを終了するには「exit」を使ってください。
参考までに、以下をご覧ください:http://hbase.apache.org/2.0/book.html#shell
バージョン2.1.1、rb60a92d6864ef27295027f5961cb46f9162d7637、2018年10月26日金曜日 19:27:03 PDT
0.0050秒で終わりました
hbase(メイン):001:0>
hbase(main):002:0*
hbase(main):003:0* バージョン
2.1.1, rb60a92d6864ef27295027f5961cb46f9162d7637, 2018年10月26日金曜日 19:27:03 PDT
0.0006秒で完了しました
hbase(メイン):004:0>

紹介

Hadoopインストールが正常に開始された後、jpsコマンドを実行してプロセスが正常に開始されたか確認します。成功している(テストされていない場合)。

[hadoop@master~]$jps
マスターノードは次のように現れます:
NameNode
ジョブトラッカー
セカンダリーネームノード

slave1ノードが現れます:
DateNode
タスクトラッカー

slave2nodeが現れます:
DateNode
タスクトラッカー

HBaseバージョンはHadoopバージョンをサポートしていました

Sは支持の略です
Xはサポートされていません
NTはテストなしの略です

参考リンク:ハイパーリンクのログインが見えます。

HBase Shellの基本的な操作コマンドは以下の通りです:

名前	コマンド表現
どんなテーブルがあるか確認してください	一覧
表を作成する	「テーブル名」「列名1」「列名2」「列名N」を作成する
記録を追加	「table name」「row name'「column name:' 'value' を入れてください
記録を見る	「テーブル名」「行名」を取得しましょう
表内のレコード総数を見る	カウント「テーブル名」
記録を削除してください	「テーブル名」「行名」「列名」を削除してください
テーブルを削除してください	テーブルを削除する前にそのテーブルをブロックしなければなりません。最初のステップは「テーブル名」を無効にすることです。次のステップは「テーブル名」を削除することです。
すべての記録を見る	「テーブル名」をスキャンしてください
テーブルの特定の列にあるすべてのデータを確認	「table name」をスキャンしてください、['column name:']
記録を更新してください	書き換えて元に戻すことです

理解してください

Hadoop分散ファイルシステム(HDFS)、HBaseはHadoopに基づくデータストレージプロジェクトであり、Hiveはデータ解析に使用されます。

(終わり)

クズども · 掲載地 2018/12/28 15:15:53

Hadoopウェブポートの紹介:ハイパーリンクのログインが見えます。
最新バージョンへのリンク:ハイパーリンクのログインが見えます。

デーモン	注記
NameNode	デフォルトのHTTPポートは50070です。
リソースマネージャー	デフォルトのHTTPポートは8088です。
MapReduceジョブヒストリーサーバー	デフォルトのHTTPポートは19888です。

HBase Webのデフォルトポートは16010です。

ピン · 掲載地 2019/01/06 21:32:01

祭壇マスターQQは接続を示します

クズども · 掲載地 2019/07/05 12:06:12

Hadoop-3.1.1+はすでにHBase-2.2.xをサポートしています。

2019年2月6日、Hadoopバージョン3.1.2がリリースされました

ハイパーリンクのログインが見えます。

私は初めてHadoopとHBaseのビッグデータを知りました

関連記事

閲覧したセクション