HBase安裝配置


HBase的安裝配置:

4臺主機:hdp0 ?hdp1 ?hdp2 ?hdp3

hdp0 hdp1 跑HMaster

hdp2 hdp3 跑HRegionServer

將HBase解壓之后

1、確保安裝ZooKeeper;

2、修改hbase-env.sh

? ? export JAVA_HOME=/.../jdk

? ? export HBASE_MANAGES_ZK=false //使用外部的zk。hbase自己維護的ZooKeeper不穩定

3、修改hbase-site.xml

<property><name>hbase.rootdir</name><value>hdfs://ns1/hbase</value>  #HDFS為HA時,HBase不認識ns1,需要將hadoop的core-site.xml和hdfs-sit.xml復制到conf文件夾下
</property>
<property><name>hbase.cluster.distributed</name><value>true</value>
</property>
<property><name>hbase.zookeeper.quorum</name><value>hdp0:2181,hdp1:2181,hdp2:2181</value>
</property>
4、修改regionservers文件,記錄HRegionServer的節點

? ? hdp2

? ? hdp3

5、HDFS為HA時,將core-site.xml和hdfs-site.xml復制到conf文件夾下

7、將hbase拷貝到其他節點

? ? scp -r /.../hbase hdp2:/.../

? ? scp -r /.../hbase hdp3:/.../

8、啟動hbase

? ? hdp0>bin/start-hbase.sh?

? ? hdp1>bin/hbase-daemon.sh start master //作為備用master,依靠ZooKeeper進行主從切換


web端口:60010


HBase和Hadoop的版本要對應。

在HBase的lib目錄下對應的Hadoop版本相對穩定。

如果用戶想要使用其他的Hadoop版本,需要將Hadoop系統安裝目錄的hadoop-*.*.*-core.jar文件和hadoop-*.*.*-test.jar復制到HBase的lib文件夾下,以替換其他版本的Hadoop文件。



關于hbase-default.xml或hbase-site.xml文件中的幾個重要參數配置:

hbase.client.write.buffer:

寫入緩沖區的數據大小,單位為字節,默認大小為2MB。此值過大會加重服務器負擔,過小會影響HBase性能。


hbase.master.meta.thread.rescanfrequency

HMaster會掃描ROOT和META表的時間間隔,單位為毫秒,默認60,000毫秒。


hbase.regionserver.handler.count

客戶端向服務器請求服務時,服務器先將客戶端的請求連接放入一個隊列中,然后服務器通過輪詢的方式進行處理。

該值指出RegionServer上等待處理請求的實例數目,默認為10。

服務器端寫數據緩存所消耗的內存大小為hbase.client.write.buffer*hbase.regionserver.handler.count


hbase.hregion.max.filesize

設置HRegion中StoreFile的最大值,默認256MB。當表中的列族超過此值時,文件將被分隔。


hfile.block.cache.size

表示HFile/StoreFile緩存所占Java虛擬機堆大小的百分比,默認值為0.2。0表示禁用此選項。


hbase.regionserver.global.memstore.upperLimit

表示MemStore所占Java虛擬機堆大小的最大值,默認值為0.4。

當超過時,更新操作將被阻塞,所有內容將被強制寫出。


hbase.hregion.memstore.flush.size

如果MEMStore的大小超過此值,將被寫到磁盤上。默認64MB。



本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/387405.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/387405.shtml
英文地址,請注明出處:http://en.pswp.cn/news/387405.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

python cook讀書筆記第2章字符串和文本

使用多個界定符分割字符串 line asdf fjdk; afed, fjek,asdf, fooimport re# line re.split(r[;,\s]\s*,line)# print(line)# [asdf, fjdk, afed, fjek, asdf, foo]"""當你使用 re.split() 函數時候&#xff0c;需要特別注意的是正則表達式中是否包含一個括號…

centos7安裝oracle12c 一

本文 基本參考了下面這篇文章http://blog.csdn.net/gq5251/article/details/42004035 和http://www.linuxidc.com/Linux/2017-08/146528.htm 但是改正了一些錯誤操作系統:CentOS Linux release 7.2.1511 (Core) oracle: oarcle (12.1.0.2.0) - Standard Edition (SE2)幾點要注…

Bigtable的些許重點

分布式數據庫系統 針對于海量數據&#xff0c;可擴展&#xff0c;高吞吐量&#xff0c;低時延 不支持關系模型 通過row和column進行索引&#xff0c;row和column可以是任意字符串 所存儲的數據也是字符串 Bigtable是一個map&#xff0c;value是array of bytes&#xff0c;通…

阿里云天池 Python訓練營Task4: Python數據分析:從0完成一個數據分析實戰 學習筆記

本學習筆記為阿里云天池龍珠計劃Python訓練營的學習內容&#xff0c;學習鏈接為&#xff1a;https://tianchi.aliyun.com/specials/promotion/aicamppython?spm5176.22758685.J_6770933040.1.6f103da1tESyzu 一、學習知識點概要 本次主要通過阿里云天池的賽題【Python入門系…

JMETER從JSON響應中提取數據

如果你在這里&#xff0c;可能是因為你需要使用JMeter從Json響應中提取變量。 好消息&#xff01;您正在掌握掌握JMeter Json Extractor的權威指南。作為Rest API測試指南的補充&#xff0c;您將學習掌握Json Path Expressions 所需的一切。 我們走吧&#xff01;并且不要驚慌&…

centos7安裝oracle12c 二

環境&#xff1a;CentOS7VMware12&#xff0c;分配資源&#xff1a;CPU&#xff1a;2顆&#xff0c;內存&#xff1a;4GB&#xff0c;硬盤空間&#xff1a;30GB Oracle 12C企業版64位 下載地址&#xff1a;http://www.oracle.com/technetwork/database/enterprise-edition/down…

阿里云天池 Python訓練營Task5:Python訓練營測試 學習筆記

一、學習知識點概要 本次是Python訓練營的測試&#xff0c;在45分鐘內完成25題&#xff0c;滿分100分及格80分。題目主要考察Task1到Task3里面的Python基礎知識。在我隨到的25道題里&#xff0c;知識點有&#xff1a; 變量&#xff08;包括數據類型和容器類型&#xff09;運算…

centos7安裝oracle12c 三

場景描述&#xff1a;我在自己電腦的虛擬機上linux環境下安裝oracle11g數據庫。 Linux版本為&#xff1a;CentOS release 6.8 (Final)&#xff0c;Oracle版本為&#xff1a;linux.x64_11gR2 問題描述&#xff1a;在oracle安裝到Prerequisite Checks這一步的時候&#xff0c;出現…

mysql刪除一條記錄

mysql如何刪除一條記錄delete from 表名 where 條件實例&#xff1a;use db1delete from tb1 where id 1; 轉載于:https://www.cnblogs.com/effortsing/p/10393229.html

HBase體系結構

HBase HBase是Apache Hadoop的數據庫&#xff0c;基于HDFS文件系統 random,realtime read/write access to Big Data 開源、分布式、可擴展、面向列 larger tables--billions of rows X millions of columns 不支持表鏈接操作 不支持事務處理 HBase存儲的數據從邏輯上來…

《屬性數據分析引論》 部分課后習題R語言實踐(第三章、第四章)

目錄 前言 第三章 廣義線性模型 習題3.18 a小題 b小題 c小題 d小題 習題3.19 a小題 b小題 c小題 第四章 Logistic回歸 習題4.1 a小題 b小題 c小題 d小題 e小題 習題4.2 a小題 b小題 c小題 d小題 小結 前言 習題選自高等教育出版社譯制&#xff0c;Alan A…

Linux下SVN搭建

在Linux系統中搭建svn服務所需要用到的軟件叫做subversion&#xff0c;可以通過yum來進行安裝&#xff0c;如圖 安裝好軟件后第一件事就是創建一個倉庫目錄 [rootserver1 ~]# mkdir /svn 使用svn自帶命令建立倉庫 [rootserver1 ~]# svnadmin create /svn 進入該倉庫&#xff0c…

HBase模式設計

HBase的使用是為了解決或優化某一問題 恰當的設計模式可以使其具有HBase本身所不具有的功能&#xff0c;并且使其執行效率得到成百上千倍的提高 在進行HBase數據庫模式設計的時候&#xff0c;不當的設置可能對系統的性能產生不良的影響 需要注意&#xff1a; 1、列族的數量及…

C++STL特殊容器priority_queue

在了解priority_queue&#xff08;優先隊列&#xff09;前&#xff0c;可以先去瞅瞅queue&#xff0c;下面是傳送門啦>——< 傳送門 priority_queue的基本性能 class priority_queue<>實現出一個queue&#xff0c;只不過其中的元素依照優先級被讀取。priority_queu…

可用于多元正態的參數估計 及 均值向量和協差陣檢驗 的R語言函數總結

一、多元正態的參數估計 1.1 樣本均值 在R語言中&#xff0c;均值通常用函數mean()得到&#xff0c;但是mean()只能計算一維變量的樣本均值&#xff0c;在面對多元隨機變量的樣本時&#xff0c;假設我們以數據框的形式保存樣本&#xff0c;我們有以下方法可以得到樣本均值&…

30秒的PHP代碼片段-MATH

本文來自GitHub開源項目 點我跳轉 30秒的PHP代碼片段 精選的有用PHP片段集合&#xff0c;您可以在30秒或更短的時間內理解這些片段。數學函數 average 返回兩個或多個數字的平均值。 function average(...$items) { $count count($items); return $count 0 ? 0 : array_sum(…

Hive簡介

Hive最初是應Facebook每天產生的海量新興社會網絡數據進行管理和機器學習的需求而產生和發展的 是建立在Hadoop上的數據倉庫基礎架構 作為Hadoop的一個數據倉庫工具&#xff0c;Hive可以將結構化的數據文件映射為一張數據庫表&#xff0c;并提供簡單的SQL查詢功能 Hive作為數…

可用于 線性判別、聚類分析 的R語言函數總結

一、判別分析 判別分析是一種分類技術&#xff0c;其通過一個已知類別的“訓練樣本”來建立判別準則&#xff0c;并通過預測變量來為未知類別的數據進行分類。根據判別的模型分為線性判別和非線性判別&#xff0c;線性判別中根據判別準則又分為Fisher判別&#xff0c;Bayes判別…

Linux 環境下搭建 Jenkins(Hudson)平臺

安裝jenkins&#xff1a;安裝 jenkins 有兩種方式&#xff1a;安裝方式一&#xff1a; [java] view plaincopysudo java -jar jenkins.war –httpPort18080 –ajp13Port18009 但是很多時候我們是使用SSH方式到目標機器上的&#xff0c;放我們關閉SSH連接時&#xff0c;這個命…

Android APK 打包過程 MD

Markdown版本筆記我的GitHub首頁我的博客我的微信我的郵箱MyAndroidBlogsbaiqiantaobaiqiantaobqt20094baiqiantaosina.comAndroid APK 打包流程 MD 目錄 目錄APK 的打包流程整體流程資源的編譯和打包資源ID資源索引概況具體打包過程aapt階段aidl階段Java Compiler階段dex階段a…