Hbase簡介及常用命令相關知識總結

文章目錄

  • 目錄
  • 前言:
  • 1.Hbase簡介
    • 1.1、什么是Hbase
    • 1.2、與傳統數據庫的對比
    • 1.3、Hbase集群中的角色
  • 2、Hbase數據模型
  • 3、Hbase命令
  • 總結:

目錄

前言:

對于Hbase來說,由于其是基于列的數據庫,所以比傳統的數據庫快許多(每次查詢只需要查詢一個屬性值,傳統數據庫則需要查詢一行數據中的所有屬性,因此比較慢。)以下只是對Hbase做了一個基本介紹,看完該博客后,希望能對Hbase有個基本的了解。

1.Hbase簡介

1.1、什么是Hbase

HBASE是一個高可靠性、高性能、面向列、可伸縮的分布式存儲系統,利用HBASE技術可在廉價PC Server上搭建起大規模結構化存儲集群。
HBASE的目標是存儲并處理大型的數據,更具體來說是僅需使用普通的硬件配置,就能夠處理由成千上萬的行和列所組成的大型數據。
HBASE是Google Bigtable的開源實現,但是也有很多不同之處。比如:Google Bigtable利用GFS作為其文件存儲系統,HBASE利用Hadoop HDFS作為其文件存儲系統;Google運行MAPREDUCE來處理Bigtable中的海量數據,HBASE同樣利用Hadoop MapReduce來處理HBASE中的海量數據;Google Bigtable利用Chubby作為協同服務,HBASE利用Zookeeper作為對應。

1.2、與傳統數據庫的對比

1、傳統數據庫遇到的問題:
1)數據量很大的時候無法存儲
2)沒有很好的備份機制
3)數據達到一定數量開始緩慢,很大的話基本無法支撐
2、HBASE優勢:
1)線性擴展,隨著數據量增多可以通過節點擴展進行支撐
2)數據存儲在hdfs上,備份機制健全
3)通過zookeeper協調查找數據,訪問速度塊。

1.3、Hbase集群中的角色

1、一個或者多個主節點,Hmaster
Hmaster的職責
1、管理用戶對Table的增、刪、改、查操作;
2、記錄region在哪臺Hregion server上;
3、在Region Split后,負責新Region的分配;
4、新機器加入時,管理HRegion Server的負載均衡,調整Region分布
5、在HRegion Server宕機后,負責失效HRegion Server 上的Regions遷移。

2、多個從節點,HregionServer
HregionServer的職責
HRegion Server主要負責響應用戶I/O請求,向HDFS文件系統中讀寫數據,是HBASE中最核心的模塊。
HRegion Server管理了很多table的分區,也就是region。

2、Hbase數據模型

這里寫圖片描述

1row key(可看成是id,不可重復。時間戳可以看成是數據的版本號,每更新一次數據時間戳就會隨之改變。存儲數據是無類型、字節碼存儲方便傳輸):
與nosql數據庫們一樣,row key是用來檢索記錄的主鍵。訪問HBASE table中的行,只有三種方式
1.通過單個row key訪問
2.通過row key的range(正則)
3.全表掃描
Row key行鍵 (Row key)可以是任意字符串(最大長度 是 64KB,實際應用中長度一般為 10-100bytes),在HBASE內部,row key保存為字節數組。存儲時,數據按照Row key的字典序(byte order)排序存儲。設計key時,要充分排序存儲這個特性,將經常一起讀取的行存儲放到一起。(位置相關性)

2Columns Family(列族是表結構,列是數據):

列簇 :HBASE表中的每個列,都歸屬于某個列族。列族是表的schema的一部分(而列不是),必須在使用表之前定義。
列名都以列族作為前綴。例如 courses:history,courses:math都屬于courses 這個列族。

3Cell

由{row key, columnFamily, version} 唯一確定的單元。cell中 的數據是沒有類型的,全部是字節碼形式存貯。
關鍵字:無類型、字節碼

4Time Stamp

HBASE 中通過rowkey和columns確定的為一個存貯單元稱為cell。每個 cell都保存著同一份數據的多個版本。版本通過時間戳來索引。時間戳的類型是 64位整型。時間戳可以由HBASE(在數據寫入時自動 )賦值,此時時間戳是精確到毫秒 的當前系統時間。時間戳也可以由客戶顯式賦值。如果應用程序要避免數據版 本沖突,就必須自己生成具有唯一性的時間戳。每個 cell中,不同版本的數據按照時間倒序排序,即最新的數據排在最前面。
**為了避免數據存在過多版本造成的的管理 (包括存貯和索引)負擔,HBASE提供 了兩種數據版本回收方式。一是保存數據的最后n個版本,二是保存最近一段 時間內的版本(比如最近七天)。**用戶可以針對每個列族進行設置。

3、Hbase命令

名稱 命令表達式
創建表 create ‘表名’, ‘列族名1’,‘列族名2’,‘列族名N’
查看所有表 list
描述表 describe ‘表名’
判斷表存在 exists ‘表名’
判斷是否禁用啟用表 is_enabled ‘表名’ is_disabled ‘表名’
添加記錄 put ‘表名’, ‘rowKey’, ‘列族 : 列‘ , ‘值’
查看記錄rowkey下的所有數據 get ‘表名’ , ‘rowKey’
查看表中的記錄總數 count ‘表名’
獲取某個列族 get ‘表名’,‘rowkey’,‘列族’
獲取某個列族的某個列 get ‘表名’,‘rowkey’,‘列族:列’
刪除記錄 delete ‘表名’ ,‘行名’ , ‘列族:列’
刪除整行 deleteall ‘表名’,‘rowkey’
刪除一張表 先要屏蔽該表,才能對該表進行刪除
第一步 disable ‘表名’ ,第二步 drop ‘表名’
清空表 truncate ‘表名’
查看所有記錄 scan “表名”
查看某個表某個列中所有數據 scan “表名” , {COLUMNS=>‘列族名:列名’}
更新記錄 就是重寫一遍,進行覆蓋,hbase沒有修改,都是追加

總結:

對于Hbase來說你應該知道以下幾點:
1、它是什么,能干什么;
2、Hbase集群中角色以及對應的職責;
3、Hbase數據模型以及讀寫數據的原理;
4、Hbase常用命令行
如果你能了解以下幾個知識點,那么恭喜你已經達到“小菜鳥”的水平。后續如果想深入了解,則需要學習更多的相關知識。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/456705.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/456705.shtml
英文地址,請注明出處:http://en.pswp.cn/news/456705.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

Django中模型類 屬性-學習筆記

定義屬性 Django根據屬性的類型確定以下信息: 當前選擇的數據庫支持字段的類型渲染管理表單時使用的默認html控件在管理站點最低限度的驗證 django會為表創建自動增長的主鍵列,每個模型只能有一個主鍵列,如果使用選項設置某屬性為主鍵列后d…

Angular Redux

Angular Redux 轉載于:https://www.cnblogs.com/skating/p/6185878.html

AtomicInteger相關類

在java6以后我們不但接觸到了Lock相關的鎖,也接觸到了很多更加樂觀的原子修改操作,也就是在修改時我們只需要保證它的那個瞬間是安全的即可,經過相應的包裝后可以再處理對象的并發修改,以及并發中的ABA問題,本文講述At…

Storm入門簡介

目錄前言:1、Storm簡介2、Storm與Hadoop的區別3、Storm核心組件4、Storm編程模型5、流式計算一般架構圖(重要)總結: 目錄 前言: 在介紹Storm之前,先介紹下離線計算。 離線計算:批量獲取數據…

項目完成

完成示例項目 現在還需要的代碼包括三個方面,三個方面順序不分先后。 1.定義視圖2.定義URLconf3.定義模板 定義視圖 編寫booktest/views.py文件如下: from django.shortcuts import render from booktest.models import BookInfo#首頁,展…

前端模板預編譯技術

什么是前端模板預編譯 前端模板預編譯通過預編譯技術讓前端模板突破瀏覽器限制,實現后端模板一樣的同步“文件”加載能力。它采用目錄來組織維護前端模板,從而讓前端模板實現工程化管理,最終保證前端模板在復雜單頁 web 應用下的可維護性。同…

Python如何生成windows可執行的exe文件

打包工具 pyinstaller 安裝pyinstaller 如果你的網絡穩定,通常直接使用下面的命令安裝即可: pip install pyinstaller 當然了,你也可以下載pyinstaller源碼包,然后進入包目錄執行下面的命令,同樣可以安裝&#xff…

招商銀行信用卡中心華泰證券暑期實習軟開筆試小結

白菜自動化小碩一枚,18屆,下學期就正式要找工作了,沒有實習經驗,感覺心慌慌。現在學校里已經開始各種提前招實習,內推了,so暑假想提前試試水,投一投暑期實習。 看到心水的單位就投一投&#xff…

理想的程序猿

出處 | http://guoze.me 最近看到的一篇不錯的文章,分享一下。 我算是靠坑蒙拐騙進了程序員的門,然后一路狂奔。26歲之前幾乎沒有任何寫代碼的經驗,研究生畢業卻意外選擇了一家不可能提供培訓的初創公司,在每日擔憂公司倒閉、害…

node08-express

目錄:node01-創建服務器 node02-util node03-events node04-buffer node05-fs node06-path node07-http node08-express node09-cookie express模塊: 1 /*2 * express是一個應用框架3 * 1、路由4 * 2、中間件5 * 3、模板引擎6 * */7 8 var express requ…

【python】1. 兩數之和

給定一個整數數組 nums 和一個目標值 target,請你在該數組中找出和為目標值的那 兩個 整數,并返回他們的數組下標。 你可以假設每種輸入只會對應一個答案。但是,你不能重復利用這個數組中同樣的元素。 示例: 給定 nums [2, 7, 11, 15], t…

The user specified as a definer (#39;root#39;@#39;%#39;) does not exist

通常是因為root用戶對全局host無訪問權限。因此僅僅要給root用戶加入一個訪問權限就可以。解決的方法: 登陸mysql 。運行 mysql -u root -pPasswd mysql >grant all privileges on *.* to root"%" identified by "Passwd…

Java基礎常見筆試題總結

以下是自己總結的一些Java常見的基礎知識題,答案僅供參考,如有異議請指出。一直保持更新狀態。 1.什么是Java虛擬機?為什么Java被稱作是“平臺無關的編程語言”? Java虛擬機是一個可以執行Java字節碼的虛擬機進程。Java源文件被編…

ThreadLocal的練習代碼

場景: 有三個小孩兒,買了一個變形金剛玩具(Transformer).... 三個小孩都爭著玩這個玩具....沒有一個人可以玩... 第一種方式:每個人各玩一會.... 第二種方式:再買兩個玩具,一個人玩一個. 每個小孩都當成一個線程.三個小孩就有三個線程. Child.java 2 3 import java.util.Random…

nginx+uwsgi部署Django

本篇文章主要介紹了解決nginxuwsgi部署Django的所有問題(小結),小編覺得挺不錯的,現在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧 最近,自己暑假寫的小項目也算完畢了,想著投放到自己云服務器上&#xff0…

$(document).scrollTop()與$(window).scrollTop()

$(document).scrollTop() 獲取垂直滾動的距離 即當前滾動的地方的窗口頂端到整個頁面頂端的距離 要獲取頂端 只需要獲取到scrollTop()0的時候 就是頂端了 要獲取底端 只要獲取$(document).scrollTop()>(document).height()?(window).height() 就可以知道已經…

各種機器學習開源項目精選TOP30

8800個機器學習開源項目為你精選TOP30! 授權自AI科技大本營(ID: rgznai100) 本文共圖文結合,建議閱讀5分鐘。 本文為大家帶來了30個廣受好評的機器學習開源項目。 最近,Mybridge發布了一篇文章,對比了過去一年中機…

Python中is與==的使用區別詳解

>>> a 1000 >>> b 1000 >>> print(id(a),id(b)) 2689566689904 2689566688880 >>> a ,b 1000,1000 >>> print(id(a),id(b)) 2689566689968 2689566689968 一行執行的用一個id地址 分行執行用兩個地址

解決:Please specify a different SDK name--PyCharm報錯

這個問題出現的原因是因為PyCharm中存在相同名字的虛擬環境變量。 本人的出錯原因是,一直使用PyCharm的默認設置來建立工程,所以每個工程都建立了自己獨立的虛擬環境。 我個人刪除了一些工程后,又建立相同名字的工程。所以才會出現存在相同…

Tomcat控制臺輸出到文件

為什么80%的碼農都做不了架構師?>>> 修改startup.bat call "%EXECUTABLE%" start %CMD_LINE_ARGS% 為 call "%EXECUTABLE%" run %CMD_LINE_ARGS% >> ..\logs\test.log 轉載于:https://my.oschina.net/cccyb/blog/886047