Doris擴容和縮容(六)

Doris 可以很方便的擴容和縮容 FE、BE、Broker 實例。

FE 擴容和縮容

可以通過將 FE 擴容至 3 個以上節點來實現 FE 的高可用。

1)使用 MySQL 登錄客戶端后,可以使用 sql 命令查看 FE 狀態,目前就一臺 FE

mysql -h hadoop1 -P 9030 -uroot -p
SHOW PROC '/frontends';

也可以通過頁面訪問進行監控,訪問 8030,賬戶為 root,密碼默認為空不用填寫。

2)增加 FE 節點

FE 分為 Leader,Follower 和 Observer 三種角色。 默認一個集群,只能有一個 Leader,可以有多個 Follower 和 Observer。其中 Leader 和 Follower 組成一個 Paxos 選擇組,如果Leader 宕機,則剩下的 Follower 會自動選出新的 Leader,保證寫入高可用。Observer 同步Leader 的數據,但是不參加選舉。

如果只部署一個 FE,則 FE 默認就是 Leader。在此基礎上,可以添加若干 Follower 和Observer。

ALTER SYSTEM ADD FOLLOWER "hadoop2:9010";
ALTER SYSTEM ADD OBSERVER "hadoop3:9010";

3)配置及啟動 Follower 和 Observer

第一次啟動時,啟動命令需要添加參--helper leader 主機:edit_log_port:

(1)分發 FE,修改 FE 的配置

scp -r /opt/module/apache-doris-0.15.0/fe hadoop2:/opt/module/
apache-doris-0.15.0
scp -r /opt/module/apache-doris-0.15.0/fe hadoop3:/opt/module/
apache-doris-0.15.0

(2)在 hadoop2 啟動 Follower

/opt/module/apache-doris-0.15.0/fe/bin/start_fe.sh --helper hadoop1:9010 --daemon

(3)在 hadoop3 啟動 Observer

/opt/module/apache-doris-0.15.0/fe/bin/start_fe.sh --helper hadoop1:9010 --daemon

4)查看運行狀態

使用 mysql-client 連接到任一已啟動的 FE。

SHOW PROC '/frontends';

5)刪除 FE 節點命令

ALTER SYSTEM DROP FOLLOWER[OBSERVER] "fe_host:edit_log_port";

注意:刪除 Follower FE 時,確保最終剩余的 Follower(包括 Leader)節點為奇數。

BE 擴容和縮容

1)增加 BE 節點

在 MySQL 客戶端,通過 ALTER SYSTEM ADD BACKEND 命令增加 BE 節點。

2)DROP 方式刪除 BE 節點(不推薦)

ALTER SYSTEM DROP BACKEND "be_host:be_heartbeat_service_port";

注意:DROP BACKEND 會直接刪除該 BE,并且其上的數據將不能再恢復!!!所以我們強烈不推薦使用 DROP BACKEND 這種方式刪除 BE 節點。當你使用這個語句時,會有對應的防誤操作提示。

3)DECOMMISSION 方式刪除 BE 節點(推薦)

ALTER SYSTEM DECOMMISSION BACKEND "be_host:be_heartbeat_service_port";

該命令用于安全刪除 BE 節點。命令下發后,Doris 會嘗試將該 BE 上的數據向其他 BE 節點遷移,當所有數據都遷移完成后,Doris 會自動刪除該節點。

該命令是一個異步操作。執行后,可以通過 SHOW PROC '/backends'; 看到該 BE 節點的 isDecommission 狀態為 true。表示該節點正在進行下線。

該命令不一定執行成功。比如剩余 BE 存儲空間不足以容納下線 BE 上的數據,或者剩余機器數量不滿足最小副本數時,該命令都無法完成,并且 BE 會一直處于isDecommission 為 true 的狀態。

DECOMMISSION 的進度,可以通過 SHOW PROC '/backends'; 中的 TabletNum 查 看,如果正在進行,TabletNum 將不斷減少。

該操作可以通過如下命令取消:

CANCEL DECOMMISSION BACKEND "be_host:be_heartbeat_service_port";

取消后,該 BE 上的數據將維持當前剩余的數據量。后續 Doris 重新進行負載均衡。

Broker 擴容縮容

Broker 實例的數量沒有硬性要求。通常每臺物理機部署一個即可。Broker 的添加和刪除可以通過以下命令完成:

ALTER SYSTEM ADD BROKER broker_name "broker_host:broker_ipc_port";ALTER SYSTEM DROP BROKER broker_name "broker_host:broker_ipc_port";ALTER SYSTEM DROP ALL BROKER broker_name;

Broker 是無狀態的進程,可以隨意啟停。當然,停止后,正在其上運行的作業會失敗,重試即可。

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/news/165286.shtml
繁體地址,請注明出處:http://hk.pswp.cn/news/165286.shtml
英文地址,請注明出處:http://en.pswp.cn/news/165286.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

Python——基于YOLOV8的車牌識別(源碼+教程)

目錄 一、前言 二 、完成效果 三、 項目包 四、運行項目 (教程) 一、前言 YOLOv8LPRNet車牌定位與識別https://www.bilibili.com/video/BV1vk4y1E7MZ/ 最近做了有一個車牌識別的小需求,今天完成了,在此記錄和分享 首先&#x…

辦公技巧:Word中插入圖片、形狀、文本框排版技巧

目錄 一、插入圖片排版技巧 二、添加形狀排版技巧 三、插入“文本框”排版技巧 我們平常在制作word時候經常會遇到插入選項卡下的圖片、形狀和文本框這三種情況下,那么如何使得Word文檔當中添加這三個元素的同時,又能保證樣式美觀呢,今天小…

ComfyUI搭建使用教程

ComfyUI 是一個基于節點流程式的stable diffusion AI 繪圖工具WebUI, 你可以把它想象成集成了stable diffusion功能的substance designer, 通過將stable diffusion的流程拆分成節點,實現了更加精準的工作流定制和完善的可復現性。但節點式的工…

【分布式】分布式事務及其解決方案

目錄 一、分布式事務二、分布式事務的解決方案1. 全局事務(1)DTP模型(2) 兩階段提交協議(2PC)原理二階段提交的缺點 (3)三階段提交協議(3PC)原理 2. 基于可靠…

【算法】搭配購買(01背包,加權并查集)

題目 Joe覺得云朵很美,決定去山上的商店買一些云朵。 商店里有 n 朵云,云朵被編號為 1,2,…,n,并且每朵云都有一個價值。 但是商店老板跟他說,一些云朵要搭配來買才好,所以買一朵云則與這朵云有搭配的云都要買。 …

DDoS攻擊和CC攻擊有什么不同之處?

DDoS是針對服務器IP發起,CC攻擊針對的是業務端口。DDoS攻擊打的是網站的服務器,而CC攻擊是針對網站的頁面攻擊,用術語來說就是,一個是WEB網絡層拒絕服務攻擊(DDoS),一個是WEB應用層拒絕服務攻擊…

Linux添加環境變量$PATH

變量$PATH 查看環境變量 [rootlocalhost lnserver]# echo $PATH /usr/local/sbin:/usr/bin:/bin:/usr/sbin:/sbin:/root/bin由于沒有docker路徑的環境變量,docker命令使用無效 要將腳本添加到 PATH 中,以便無論在哪個目錄中都可以調用它或執行它&…

【鏈路追蹤】xxl-job定時任務日志增加traceId

問題背景 項目中通過sleuth實現了統一的traceId注入,在生產環境進行日志追溯時比較方便。但是在使用xxl-job進行定時任務管理時,卻發現xxl-job線程打印出來的日志沒有traceId,查詢日志時十分不方便,于是通過使用Spring aop的方式…

點云從入門到精通技術詳解100篇-基于深度學習的稀疏點云障礙物檢測

目錄 前言 國內外研究現狀 激光雷達點云配準 激光雷達目標檢測

c#代碼Linq中使用OrderBy進行自定義排序

c#代碼Linq中使用OrderBy進行自定義排序 /// <summary>/// 自定義字符串比較器 用于自定義排序/// </summary>public class StringComparer : IComparer<string>{/// <summary>/// 偏好的排序列表/// </summary>public List<string> _pre…

RK3568基于openharmony3.2版本之MIPI屏幕調試

mipi調試過程 1、前言2、開發環境3、調試過程3.1、下載openharmony3.2源碼3.2、設備樹上增加mipi-dsi屏幕的節點3.3、 分析kernel顯示不出來畫面3.4、 mipi屏幕顯示效果圖1、前言 由于工作需要,RK3568需要支持openharmony3.2系統版本,需要重新移植下載源碼并且適配自家公司的…

【JavaWeb】HTMLCSSJavaScript

HTML&CSS&JavaScript 文章目錄 HTML&CSS&JavaScript一、開發工具及在線幫助文檔二、 HTML2.1 HTML&CSS&JavaScript的作用2.2 HTML基礎結構2.3 HTML概念詞匯解釋2.4 HTML的語法規則2.5 常用標簽 三、CSS3.1 引入方式3.2 CSS選擇器3.3 CSS浮動3.4 CSS定位…

MindSpore基礎教程:LeNet-5 神經網絡在MindSpore中的實現與訓練

MindSpore基礎教程&#xff1a;LeNet-5 神經網絡在MindSpore中的實現與訓練 官方文檔教程使用已經棄用的MindVision模塊&#xff0c;本文是對官方文檔的更新 深度學習在圖像識別領域取得了顯著的成功&#xff0c;LeNet-5 作為卷積神經網絡的經典之作&#xff0c;在諸多研究和應…

Linux | 從虛擬地址到物理地址

前言 本章主要講解虛擬地址是怎么轉化成物理地址的&#xff0c;以及頁表相關知識&#xff1b;本文環境默認為32位機器下&#xff1b;如果你連什么是虛擬地址都不知道可以先看看下面這篇文章&#xff1b; Linux | 進程地址空間-CSDN博客 一、概念補充 頁表&#xff1a;是一種數據…

【性能優化】CPU利用率飆高與內存飆高問題

&#x1f4eb;作者簡介&#xff1a;小明java問道之路&#xff0c;2022年度博客之星全國TOP3&#xff0c;專注于后端、中間件、計算機底層、架構設計演進與穩定性建設優化&#xff0c;文章內容兼具廣度、深度、大廠技術方案&#xff0c;對待技術喜歡推理加驗證&#xff0c;就職于…

2023APMCM亞太杯數學建模選題建議及初步思路

大家好呀&#xff0c;亞太杯數學建模開始了&#xff0c;來說一下初步的選題建議吧&#xff1a; 首先定下主基調&#xff0c;本次亞太杯推薦選擇B題。 C題如果想做好&#xff0c;搜集數據難度并不低&#xff0c;并且模型比較簡單&#xff0c;此外目前選擇的人數過多&#xff0c…

java項目之消防物資存儲系統(ssm+vue)

項目簡介 消防物資存儲系統實現了以下功能&#xff1a; 管理員功能: 管理員登陸后&#xff0c;主要模塊包括首頁&#xff0c;個人中心&#xff0c;用戶管理&#xff0c;倉庫管理&#xff0c;物資入庫管理&#xff0c;物資出庫管理&#xff0c;倉庫管理&#xff0c;物資詳情管…

23年下半年軟考成績查詢時間是什么時候?

一、成績查詢時間 2023年下半年軟考成績查詢時間預計2023年12月份公布&#xff0c;成績查詢入口為計算機技術職業資格網&#xff08;全國統一成績查詢時間&#xff0c;統一查詢入口&#xff09;。 二、成績查詢方法 登陸中國計算機技術職業資格網&#xff0c;點擊“成績查詢”…

7-9 jmu-python-班級人員信息統計

7-9 jmu-python-班級人員信息統計 分數 15 作者 鄭如濱 單位 集美大學 輸入a,b班的名單&#xff0c;并進行如下統計。 輸入格式: 第1行:&#xff1a;a班名單&#xff0c;一串字符串&#xff0c;每個字符代表一個學生&#xff0c;無空格&#xff0c;可能有重復字符。 第2行:&am…

WPF實戰項目十六(客戶端):備忘錄接口

1、新增IMemoService接口&#xff0c;繼承IBaseService接口 public interface IMemoService : IBaseService<MemoDto>{} 2、新增MemoService類&#xff0c;繼承BaseService和IMemoService接口 public class MemoService : BaseService<MemoDto>, IMemoService{pub…