StarRocks集群部署

Starrocks 是一款基于 MPP 架構的高性能實時分析型數據庫，專為 OLAP（聯機分析處理）場景設計，尤其擅長處理海量數據的實時分析、復雜查詢和多維統計。

硬件
CPU：StarRocks依靠AVX2指令集充分發揮其矢量化能力。因此，在生產環境中，強烈建議您將StarRocks部署于x86架構CPU的服務器上。
在終端中運行以下命令來檢查CPU是否支持AVX2指令集：cat /proc/cpuinfo | grep avx2

操作系統
StarRocks 支持在CentOS Linux 7.9 和 Ubuntu Linux 22.04上部署。(推薦在CentOs 7.9上部署)
網絡

建議使用萬兆網絡連接(10 Gigabit Ethernet，簡稱10GE)確保StarRocks集群內數據能夠跨節點高效傳輸。

一、數據盤掛載目錄
#基于LVM方式掛載數據盤

 數據盤掛載目錄  折疊源碼
安裝邏輯卷管理工具：yum install lvm2 -y列出系統中的塊設備信息，包括磁盤、分區和掛載點等：lsblk
創建pv：pvcreate /dev/vdb
查看：pvs創建vg：vgcreate vgdata /dev/vdb
查看：vgs創建lv：lvcreate -l +100%free -n lvdata vgdata
查看：lvs格式化：mkfs.xfs /dev/mapper/vgdata-lvdata創建目錄：mkdir /starrocks-data
查看：ls /查看塊設備標識信息：blkid
/dev/mapper/vgdata-lvdata: UUID="0f105c51-1280-4511-ab4f-36c57bbcc53c" TYPE="xfs"vim /etc/fstab
在文件最后一行新增UUID信息：UUID=0f105c51-1280-4511-ab4f-36c57bbcc53c /starrocks-data         xfs     defaults        0 0執行自動掛載命令：mount -a查看文件系統磁盤空間：df -h

二、配置hostname
#修改主機名：分別在各節點上執行
hostnamectl set-hostname xxx-sr1
hostnamectl set-hostname xxx-sr2
hostnamectl set-hostname xxx-sr3
hostnamectl set-hostname xxx-sr4
hostnamectl set-hostname xxx-sr5
hostnamectl set-hostname xxx-sr6

#設置hosts
1xx.21.2x3.194 xxx-sr1
1xx.21.2x3.45 xxx-sr2
1xx.21.2x3.31 xxx-sr3
1xx.21.2x3.50 xxx-sr4
1xx.21.2x3.193 xxx-sr5
1xx.21.2x3.112 xxx-sr6

三、配置SSH免密
第一步：在各節點生成公鑰和私鑰
ssh-keygen -t rsa

第二步：將生成的公鑰寫入authorized_keys文件
copy其它節點的公鑰到sr1節點
ssh-copy-id -i ~/.ssh/id_rsa.pub xxx-sr1

第三步：在sr1機器上執行，將文件分發到其它機器。
scp authorized_keys root@xxx-sr2:~/.ssh

第四步：驗證ssh免密登錄
ssh xxx-sr2
保證每臺機器都能免密登陸所有機器
注: 我之前發有一篇關于服務器之間用腳本實現全自動化免密登陸，請在我的歷史文章叫搜索一下。

四、時間同步

安裝chrony：yum install chrony

編輯文件：/etc/chrony.conf #注這里我用的是我公司的時間服務器，大家可根據自身情況來設置。
cat > /etc/chrony.conf <<EOF
server 1x2.2x.2x8.4 iburst
server 1x2.2x.2x9.8 iburst
driftfile /var/lib/chrony/drift
makestep 1.0 3
rtcsync
logdir /var/log/chrony
EOF

#設置開機啟動和重啟
systemctl enable chronyd
systemctl restart chronyd

#檢測時間同步
chronyc sourcestats

五、配置jdk
mkdir /usr/java -p
將jdk壓縮包上傳至服務器目錄：/usr/java
解壓：tar -xf jdk-8u321-linux-x64.tar.gz
配置java環境變量，編輯文件：vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_321
export PATH= $JAVA_HOME/bin:$ PATH

使配置生效：source /etc/profile
檢查是否安裝成功：java -version

六、部署工具StarGo

#創建目錄
mkdir -p /usr/local/apps
mkdir -p /opt/starrocks
mkdir -p /starrocks-data/starrocks

上傳文件：#大家可以去官網下載后上傳到服務器上
stargo-v2.3.tar.gz
StarRocks-3.1.8.tar.gz

#校驗安裝包完整性
md5sum StarRocks-3.1.8.tar.gz
8989a2483856f11eac288e66344a5649 StarRocks-3.1.8.tar.gz

#檢測服務器環境
解壓縮：tar -xf stargo-v2.3.tar.gz
cd /usr/local/apps/stargo-v2.3
執行檢測命令：./env_check.sh
在這里插入圖片描述

調整環境參數：
vim /etc/sysctl.conf
vm.swappiness=0
vm.overcommit_memory=1
vm.max_map_count=262144

sysctl -p

echo 1 | sudo tee /proc/sys/vm/overcommit_memory
echo 262144 | sudo tee /proc/sys/vm/max_map_count
echo 1 | sudo tee /proc/sys/net/ipv4/tcp_abort_on_overflow

echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

#修改配置文件

/usr/local/apps/stargo-v2.3

備份：cp deploy-template.yaml deploy-template.yaml.bak

修改文件名：mv deploy-template.yaml deploy-dev.yaml

編輯文件：vim deploy-dev.yaml

global:user: rootssh_port: 22fe_servers:- host: 1x2.2x.2x3.7ssh_port: 22java_heap_mem: 10240http_port: 8030rpc_port: 9020query_port: 9030edit_log_port: 9010deploy_dir: /opt/starrocks/femeta_dir: /starrocks-data/starrocks/fe/metalog_dir: /starrocks-data/starrocks/fe/logpriority_networks: 1x2.2x.2x3.7role: FOLLOWERconfig:sys_log_level: "INFO"- host: 1x2.2x.2x3.75ssh_port: 22java_heap_mem: 10240http_port: 8030rpc_port: 9020query_port: 9030edit_log_port: 9010deploy_dir: /opt/starrocks/femeta_dir: /starrocks-data/starrocks/fe/metalog_dir: /starrocks-data/starrocks/fe/logpriority_networks: 1x2.2x.2x3.75role: FOLLOWERconfig:sys_log_level: "INFO"- host: 1x2.2x.2x3.63ssh_port: 22java_heap_mem: 10240http_port: 8030rpc_port: 9020query_port: 9030edit_log_port: 9010deploy_dir: /opt/starrocks/femeta_dir: /starrocks-data/starrocks/fe/metalog_dir: /starrocks-data/starrocks/fe/logpriority_networks: 1x2.2x.2x3.63role: FOLLOWERconfig:sys_log_level: "INFO"be_servers:- host: 172.21.243.111ssh_port: 22be_port: 9060webserver_port: 8040heartbeat_service_port: 9050brpc_port: 8060deploy_dir : /opt/starrocks/bestorage_dir: /starrocks-data/starrocks/be/storagelog_dir: /starrocks-data/starrocks/be/logpriority_networks: 1x2.2x.2x3.111config:enable_new_load_on_memory_limit_exceeded: truemem_limit: 90%- host: 1x2.2x.2x3.135ssh_port: 22be_port: 9060webserver_port: 8040heartbeat_service_port: 9050brpc_port: 8060deploy_dir : /opt/starrocks/bestorage_dir: /starrocks-data/starrocks/be/storagelog_dir: /starrocks-data/starrocks/be/logpriority_networks: 1x2.2x.2x3.135config:enable_new_load_on_memory_limit_exceeded: truemem_limit: 90%- host: 172.21.243.234ssh_port: 22be_port: 9060webserver_port: 8040heartbeat_service_port: 9050brpc_port: 8060deploy_dir : /opt/starrocks/bestorage_dir: /starrocks-data/starrocks/be/storagelog_dir: /starrocks-data/starrocks/be/logpriority_networks: 1x2.2x.2x3.234config:enable_new_load_on_memory_limit_exceeded: truemem_limit: 90%##若不需要部署Broker，可刪除下方配置。2.5版本后通常可不部署。
#broker_servers:
#  - host: 1x2.1x8.110.101
#    ssh_port: 22
#    broker_port: 8000
#    deploy_dir : /opt/starrocks/apache_hdfs_broker
#    log_dir: /data/starrocks/apache_hdfs_broker/log
#    config:
#      sys_log_level: "INFO"
#  - host: 1x2.1x8.110.102
#    ssh_port: 22
#    broker_port: 8000
#    deploy_dir : /opt/starrocks/apache_hdfs_broker
#    log_dir: /data/starrocks/apache_hdfs_broker/log
#    config:
#      sys_log_level: "INFO"
#  - host: 1x2.1x8.110.103
#    ssh_port: 22
#    broker_port: 8000
#    deploy_dir : /opt/starrocks/apache_hdfs_broker
#    log_dir: /data/starrocks/apache_hdfs_broker/log##若不需要部署CN，可刪除下方配置。本地部署時通常可不部署。注意：CN不能與BE部署同一節點。
#cn_servers:
#  - host: 192.168.110.104
#    ssh_port: 22
#    thrift_port: 9060
#    webserver_port: 8040
#    heartbeat_service_port: 9050
#    brpc_port: 8060
#    deploy_dir : /opt/starrocks/cn
#    log_dir: /data/starrocks/cn/log
#    priority_networks: 1x2.1x8.110.104
#    config:
#      sys_log_level: INFO

輯文件：vim repo.yaml

sr_path: /usr/local/apps
sr_name: StarRocks-3.1.8.tar.gz

七、執行部署命令

cd /usr/local/apps/stargo-v2.3
./stargo cluster deploy sr-cluster v3.1.8 deploy-dev.yaml
在這里插入圖片描述

八、驗證集群

#查看集群信息和集群狀態
./stargo cluster display sr-cluster
./stargo cluster status sr-cluster
在這里插入圖片描述
九、監控部署

9.1 安裝Prometheus

上傳文件到目錄：scp root@172.16.12.169:/usr/local/starrocks/new_starrocks/prometheus-2.45.2.linux-amd64.tar.gz /tmp

mv /tmp/prometheus-2.45.2.linux-amd64.tar.gz /usr/local/apps/

解壓：tar -xf prometheus-2.45.2.linux-amd64.tar.gz
修改目錄名：mv prometheus-2.45.2.linux-amd64 prometheus
創建目錄：cd prometheus
mkdir data
備份文件：cp prometheus.yml prometheus.yml.bak
編輯文件：vim prometheus.yml

global:scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.- job_name: "StarRocks_Cluster"metrics_path: '/metrics'# metrics_path defaults to '/metrics'# scheme defaults to 'http'.static_configs:- targets: ['1x2.2x.2x3.7:8030','1x2.2x.2x3.75:8030','1x2.2x.2x3.63:8030']labels:group: fe- targets: ['1x2.2x.2x3.111:8040','1x2.2x.2x3.135:8040','1x2.2x.2x3.234:8040']labels:group: be

在這里插入圖片描述
#創建prometheus系統服務啟動文件

cd /etc/systemd/system/
vim prometheus.service

[Unit]
Description=Prometheus service
After=network.target[Service]
User=root
Type=simple
ExecReload=/bin/sh -c "/bin/kill -1 `/usr/bin/pgrep prometheus`"
ExecStop=/bin/sh -c "/bin/kill -9 `/usr/bin/pgrep prometheus`"
ExecStart=/usr/local/apps/prometheus/prometheus --config.file=/usr/local/apps/prometheus/prometheus.yml --storage.tsdb.path=/usr/local/apps/prometheus/data[Install]
WantedBy=multi-user.target

重新加載某個服務的配置文件，是配置文件生效。

systemctl daemon-reload
在這里插入圖片描述
#啟動prometheus服務

#使用系統服務文件啟動的方式(推薦)
開機啟動：systemctl enable prometheus.service
啟動服務：systemctl start prometheus.service
查看狀態：systemctl status prometheus.service
在這里插入圖片描述
9.2 安裝Grafana

上傳文件到目錄：scp root@1x2.1x.1x.169:/usr/local/starrocks/new_starrocks/grafana-enterprise-10.2.1.linux-amd64.tar.gz /tmp

mv /tmp/grafana-enterprise-10.2.1.linux-amd64.tar.gz /usr/local/apps/
解壓：tar -xf grafana-enterprise-10.2.1.linux-amd64.tar.gz
修改目錄名：mv grafana-v10.2.1 grafana
#創建grafana系統服務啟動文件

cd /usr/lib/systemd/system/
vim grafana.service

[Unit]
Description=Grafana
After=network.target[Service]
Type=simple
ExecStart=/usr/local/apps/grafana/bin/grafana server --homepath=/usr/local/apps/grafana[Install]
WantedBy=multi-user.target

#啟動grafana服務
啟動：systemctl start grafana
設置開機啟動：systemctl enable grafana
查看狀態：systemctl status grafana

在這里插入圖片描述