文章目錄
- 目錄
- 前言:
- 1.Hbase簡介
- 1.1、什么是Hbase
- 1.2、與傳統數據庫的對比
- 1.3、Hbase集群中的角色
- 2、Hbase數據模型
- 3、Hbase命令
- 總結:
目錄
前言:
對于Hbase來說,由于其是基于列的數據庫,所以比傳統的數據庫快許多(每次查詢只需要查詢一個屬性值,傳統數據庫則需要查詢一行數據中的所有屬性,因此比較慢。)以下只是對Hbase做了一個基本介紹,看完該博客后,希望能對Hbase有個基本的了解。
1.Hbase簡介
1.1、什么是Hbase
HBASE是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統,利用HBASE技術可在廉價PC Server上搭建起大規模結構化存儲集群。
HBASE的目標是存儲并處理大型的數據,更具體來說是僅需使用普通的硬件配置,就能夠處理由成千上萬的行和列所組成的大型數據。
HBASE是Google Bigtable的開源實現,但是也有很多不同之處。比如:Google Bigtable利用GFS作為其文件存儲系統,HBASE利用Hadoop HDFS作為其文件存儲系統;Google運行MAPREDUCE來處理Bigtable中的海量數據,HBASE同樣利用Hadoop MapReduce來處理HBASE中的海量數據;Google Bigtable利用Chubby作為協同服務,HBASE利用Zookeeper作為對應。
1.2、與傳統數據庫的對比
1、傳統數據庫遇到的問題:
1)數據量很大的時候無法存儲
2)沒有很好的備份機制
3)數據達到一定數量開始緩慢,很大的話基本無法支撐
2、HBASE優勢:
1)線性擴展,隨著數據量增多可以通過節點擴展進行支撐
2)數據存儲在hdfs上,備份機制健全
3)通過zookeeper協調查找數據,訪問速度塊。
1.3、Hbase集群中的角色
1、一個或者多個主節點,Hmaster
Hmaster的職責
1、管理用戶對Table的增、刪、改、查操作;
2、記錄region在哪臺Hregion server上;
3、在Region Split后,負責新Region的分配;
4、新機器加入時,管理HRegion Server的負載均衡,調整Region分布
5、在HRegion Server宕機后,負責失效HRegion Server 上的Regions遷移。
2、多個從節點,HregionServer
HregionServer的職責
HRegion Server主要負責響應用戶I/O請求,向HDFS文件系統中讀寫數據,是HBASE中最核心的模塊。
HRegion Server管理了很多table的分區,也就是region。
2、Hbase數據模型
1、row key(可看成是id,不可重復。時間戳可以看成是數據的版本號,每更新一次數據時間戳就會隨之改變。存儲數據是無類型、字節碼存儲方便傳輸):
與nosql數據庫們一樣,row key是用來檢索記錄的主鍵。訪問HBASE table中的行,只有三種方式:
1.通過單個row key訪問
2.通過row key的range(正則)
3.全表掃描
Row key行鍵 (Row key)可以是任意字符串(最大長度 是 64KB,實際應用中長度一般為 10-100bytes),在HBASE內部,row key保存為字節數組。存儲時,數據按照Row key的字典序(byte order)排序存儲。設計key時,要充分排序存儲這個特性,將經常一起讀取的行存儲放到一起。(位置相關性)
2、Columns Family(列族是表結構,列是數據):
列簇 :HBASE表中的每個列,都歸屬于某個列族。列族是表的schema的一部分(而列不是),必須在使用表之前定義。
列名都以列族作為前綴。例如 courses:history,courses:math都屬于courses 這個列族。
3、Cell:
由{row key, columnFamily, version} 唯一確定的單元。cell中 的數據是沒有類型的,全部是字節碼形式存貯。
關鍵字:無類型、字節碼
4、Time Stamp:
HBASE 中通過rowkey和columns確定的為一個存貯單元稱為cell。每個 cell都保存著同一份數據的多個版本。版本通過時間戳來索引。時間戳的類型是 64位整型。時間戳可以由HBASE(在數據寫入時自動 )賦值,此時時間戳是精確到毫秒 的當前系統時間。時間戳也可以由客戶顯式賦值。如果應用程序要避免數據版 本沖突,就必須自己生成具有唯一性的時間戳。每個 cell中,不同版本的數據按照時間倒序排序,即最新的數據排在最前面。
**為了避免數據存在過多版本造成的的管理 (包括存貯和索引)負擔,HBASE提供 了兩種數據版本回收方式。一是保存數據的最后n個版本,二是保存最近一段 時間內的版本(比如最近七天)。**用戶可以針對每個列族進行設置。
3、Hbase命令
名稱 命令表達式
創建表 create ‘表名’, ‘列族名1’,‘列族名2’,‘列族名N’
查看所有表 list
描述表 describe ‘表名’
判斷表存在 exists ‘表名’
判斷是否禁用啟用表 is_enabled ‘表名’ is_disabled ‘表名’
添加記錄 put ‘表名’, ‘rowKey’, ‘列族 : 列‘ , ‘值’
查看記錄rowkey下的所有數據 get ‘表名’ , ‘rowKey’
查看表中的記錄總數 count ‘表名’
獲取某個列族 get ‘表名’,‘rowkey’,‘列族’
獲取某個列族的某個列 get ‘表名’,‘rowkey’,‘列族:列’
刪除記錄 delete ‘表名’ ,‘行名’ , ‘列族:列’
刪除整行 deleteall ‘表名’,‘rowkey’
刪除一張表 先要屏蔽該表,才能對該表進行刪除
第一步 disable ‘表名’ ,第二步 drop ‘表名’
清空表 truncate ‘表名’
查看所有記錄 scan “表名”
查看某個表某個列中所有數據 scan “表名” , {COLUMNS=>‘列族名:列名’}
更新記錄 就是重寫一遍,進行覆蓋,hbase沒有修改,都是追加
總結:
對于Hbase來說你應該知道以下幾點:
1、它是什么,能干什么;
2、Hbase集群中角色以及對應的職責;
3、Hbase數據模型以及讀寫數據的原理;
4、Hbase常用命令行
如果你能了解以下幾個知識點,那么恭喜你已經達到“小菜鳥”的水平。后續如果想深入了解,則需要學習更多的相關知識。