Hbase讀寫數據的原理解析

  • 目錄
  • 1、體系圖
    • 寫數據的流程(參考上圖):
    • 讀數據的流程(參考下圖):

目錄

1、體系圖

這里寫圖片描述
針對上圖的一些解釋:
這里面數據分區(region)存儲是為了查詢方便(即因為是集群所以能充分利用磁盤的IO性)。添加數據時,數據先進入Hlog–預寫日志(數據只能追加不能修改)<防止數據丟失>,數據在Hlog寫完后再寫到內存中
HFile:認為是將數據進行序列化。
StoreFile:認為是一個文件。
DFS:調用HDFS的客戶端API來將數據傳到HDFS。

寫數據的流程(參考上圖):

1、客戶端向hregionServer請求寫數據
2、hregionServer將數據先寫入hlog中。
3、hregionServer將數據后寫入memstore中。
4、當內存中的數據達到閾值64M的時候,將數據Flush到硬盤中,并同時刪除內存和hlog中的歷史數據。
5、將硬盤中數據通過HFile來序列化,再將數據傳輸到HDFS進行存儲。并對Hlog做一個標記。
6、當HDFS中的數據塊達到4塊的時候,Hmaster將數據加載到本地進行一個合并(如果合并后數據的大小小于256M則當數據塊再次達到4塊時(包含小于256M的數據塊)將最新4塊數據塊再次進行合并,此時數據塊大于256M)。
7、若數據塊大于256M,則將數據重新拆分,將分配后的region重新分配給不同的hregionServer進行管理。
8、當hregionServer宕機后,將hregionServer上的hlog重新分配給不同的hregionServer進行加載(修改.META文件中關于數據所在server的信息)。注意:hlog會同步到HDFS中。

讀數據的流程(參考下圖):

1、通過zk來獲取ROOT表在那個節點上,然后進一步通過-ROOT表和-META表來獲取最終的位置信息。
2、數據從內存和硬盤合并后返回到客戶端。
這里寫圖片描述

PS:由上圖可看到,當客戶端在執行查詢語句的時候,會先到zk上尋找對應-ROOT表(主要描述-META表在哪里)的位置信息(由此也知道ZK在Hbase中的作用),接下來根據-ROOT表中數據進而找到對應的HRegionServer,在對應的HRegionServer上的-META表(主要記載表的元數據信息)中找到對應的Table表在哪個HRegionServer上,再到對應的HRegionServer中查找對應的數據。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/456664.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/456664.shtml
英文地址,請注明出處:http://en.pswp.cn/news/456664.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

anaconda來創建python環境

Anacond下載 下載地址&#xff1a;https://www.anaconda.com/download/ 管理虛擬環境 接下來我們就可以用anaconda來創建我們一個個獨立的python環境了.接下來的例子都是在命令行操作的,請打開你的命令行吧. activate activate 能將我們引入anaconda設定的虛擬環境中, 如果你后…

Zookeeper的簡介及命令行操作

目錄前言1、Zookeeper簡介2、Zookeeper結構3、Zookeeper常用的命令行操作 總結&#xff1a; 目錄 前言 作為一款第三方的協調服務框架&#xff0c;ZK被應用在許多地方&#xff0c;如&#xff1a;Hbase中用于存儲-ROOT表的位置信息&#xff1b;Storm中用于保存任務分配的信息、…

移動端開發文章導航

1. 微信企業號 微信企業號 介紹微信企業號 獲取AccessToken微信企業號 獲取用戶信息微信企業號 JS-SDK&#xff1a;上傳圖片2. 微信公眾號 微信公眾號 訂閱號與服務號的區別微信公眾號 幾種移動端UI框架介紹轉載于:https://www.cnblogs.com/polk6/p/6217835.html

打開cmd窗口新技巧get

1.在當前目錄下&#xff0c;按住shift鍵點擊右鍵,選擇在此處打開命令窗口 很多時候我們需要打開命令行然后進入到相應目錄進行一些操作。 常規的做法是: WinR打開運行窗口輸入"cmd"回車打開命令行窗口 假如我們要進入的是D盤foo文件夾下的一個bar子文件夾&#xff0c…

【python】pycharm啟動 一直index,無法運行

花了幾個小時找相關資料&#xff0c;按網上提供答案操作&#xff0c;依然沒有解決, 最后讓它自動更新完才好&#xff08;大概更新了十分鐘 有固態情況&#xff09; 參考鏈接 pycharm啟動后總是不停的updating indices...indexing? pycharm 啟動后一直更新index的問題

Zookeeper集群角色分配原理

ZK內部存在Leader和Follower兩個角色&#xff0c;那么這兩種角色是怎樣劃分呢&#xff1f;或者說是怎么樣被選舉出來呢&#xff1f;以下將詳細介紹ZK內部的選舉機制。 ZK是通過內部的選舉算法來選出Leader。&#xff08;服務器需要配置對應的ID和文件&#xff09;如下圖所示&a…

2016大數據發展7大趨勢

1.算法&#xff08;Algorithms&#xff09;的崛起 大數據已過時&#xff0c;算法正當道。數據已經成為一種商品&#xff0c;每個組織都能夠收集和存儲大量的數據。分析大數據也不再那么引人注目了。每個組織都可以聘用或培訓大數據分析人員來了解數據模式。 2016年&#xff0c;…

請編寫一個方法,實現整數的乘法、減法和除法運算(這里的除指整除)。只允許使用加號。

方法思路 乘法&#xff1a;a*b就等于b個a相加。題目也說了不考慮性能。 減法&#xff1a;a-b就等于a(-1)*b;就等于a加上b的相反數&#xff0c;得到b的相反數就解決了。 除法&#xff1a;a/bn&#xff1b;就是說有n個b相加小于等于a;可以采用b一直加&#xff0c;直到大于a結束。…

MySQL數據庫重點概要總結

目錄前言&#xff1a;1、結構化查詢語言(Structured Query Language)簡稱SQL。2、基本SELECT語句語法3、多表鏈接4、笛卡爾積5、ANSI SQL ANSI SQL&#xff1a;1999標準的連接語法6、單行函數和分組函數的區別&#xff1a;7、分組函數8、SQL語句的執行順序&#xff1a;9、子查詢…

《MySQL排錯指南》——1.9 許可問題

本節書摘來自異步社區出版社《MySQL排錯指南》一書中的第1章&#xff0c;第1.9節&#xff0c;作者&#xff1a;【美】Sveta Smirnova&#xff08;斯維特 斯米爾諾娃&#xff09;&#xff0c;更多章節內容可以訪問云棲社區“異步社區”公眾號查看。 1.9 許可問題 MySQL有復雜的…

畢業半年,碼過5個城市

時間飛逝&#xff0c;半年前我還在想我的畢業設計要怎么做&#xff0c;還在擔心自己的答辯能夠拿多少分&#xff0c;而此刻我正在成都寫我喜歡的代碼&#xff0c;過著我想過的生活。畢業半年&#xff0c;碼過5個城市&#xff0c;從廈門->太原-》合肥-》北京-》成都。2016是我…

python ---單例(Singleton)

單例&#xff08;Singleton&#xff09; 單例是一種 設計模式 &#xff0c;應用該模式的類只會生成一個實例。 單例模式保證了在程序的不同位置都 可以且僅可以取到同一個對象實例 &#xff1a;如果實例不存在&#xff0c;會創建一個實例&#xff1b;如果已存在就會返回這個實例…

Oracle-11g-R2 RAC 環境下 GPnP Profile 文件

GPnP Profile 文件的作用&#xff1a; GPnP Profile 文件是一個保存于$GRID_HOME/gpnp/<hostname>/profiles/peer目錄下的小型 XML 文件&#xff0c;名稱為 profile.xml。其用于正確描述 RAC 每個節點的全局特性。每個節點上都會保存一個本地的 GPnP Profile&#xff0c;…

《Pro/ENGINEER野火版5.0從入門到精通》——2.5 設置零件單位

本節書摘來自異步社區《Pro/ENGINEER野火版5.0從入門到精通》一書中的第2章&#xff0c;第2.5節&#xff0c;作者 暴風創新科技&#xff0c;更多章節內容可以訪問云棲社區“異步社區”公眾號查看。 2.5 設置零件單位 由于不同國家單位制的不相同&#xff0c;在企業間合作或溝通…

元類被稱為 Python 中的“深奧的巫術“

元類被稱為 Python 中的“深奧的巫術”。盡管你需要用到它的地方極少&#xff08;除非你基于 zope 編程&#xff09;&#xff0c;可事實上它的基礎理論其實令人驚訝地易懂。 一切皆對象 一切都有類型 “class”和“type”之間本質上并無不同 類也是對象 它們的類型是 type 以…

機器學習之必知開源數據集

之前看到的不錯的文章&#xff0c;玩機器學習數據是關鍵&#xff0c;有了這些東西&#xff0c;你就不必再為沒有數據而苦惱。 轉自&#xff1a;https://www.toutiao.com/i6432197108580745730/ 目錄UCIGoogleTrendsKaggleAWS公用數據集ImagenetMINIST/r/數據集其他數據集 目錄…

PHP中header函數的用法及其注意重點是什么呢

1、使用header函數進行跳轉頁面&#xff1b; header(Location:.$url);  其中$url就是將要跳轉的url了。 這種用法的注意事項有以下幾點&#xff1a; ?Location和":"之間不能有空格&#xff0c;否則會出現錯誤&#xff08;注釋&#xff1a;我剛測試了&#xff0c;在…

《計算機科學概論》—第3章3.3節文本表示法

本節書摘來自華章出版社《計算機科學概論》一書中的第3章&#xff0c;第3.3節文本表示法&#xff0c;作者&#xff3b;美]內爾黛爾&#xff08;Nell Dale&#xff09;約翰路易斯&#xff08;John Lewis&#xff09;&#xff0c;更多章節內容可以訪問云棲社區“華章計算機”公眾…

習題

# -*- coding: utf-8 -*- # Time : 2019/08/08 17:38 # Author : Liu # File : zuoye.py# 一、 # 將此功能定義成一個函數&#xff0c; # 電腦隨機生成1~100隨機數&#xff0c;用戶輸入一個數字&#xff0c;電腦提示用戶大或者小&#xff0c;猜錯&#xff0c;繼續提示&a…

經典技術面試指南

目錄計算機基礎知識數據結構算法操作系統計算機網絡數據庫海量數據處理C語言基礎Java基礎Java高級Java Web設計模式知識的綜合能力工具使用項目相關技術熱情表達能力思考方式其他推薦閱讀 目錄 最近看到一份不錯的面試總結&#xff0c;也是每位程序猿都應該掌握的基礎&#x…