CloudberryDB：? ? 一個 Greenplum Database 分布式數據庫開源版本的衍生項目，

針對開源 Greenplum Database 優化的地方， CloudberryDB制定了路線圖（https://github.com/orgs/cloudberrydb/discussions/369）并在逐步改進 。

GitHub 地址：https://github.com/cloudberrydb/cloudberrydb

?官網主頁：https://cloudberrydb.org/

官方文檔：產品特性 | Apache Cloudberry (Incubating)

準備部署的3臺服務器信息如下：

[root@dfq-cloudberrydb-01 ~]# cat /etc/os-release 
NAME="Rocky Linux"
VERSION="8.6 (Green Obsidian)"
ID="rocky"
ID_LIKE="rhel centos fedora"
VERSION_ID="8.6"
PLATFORM_ID="platform:el8"
PRETTY_NAME="Rocky Linux 8.6 (Green Obsidian)"
ANSI_COLOR="0;32"
CPE_NAME="cpe:/o:rocky:rocky:8:GA"
HOME_URL="https://rockylinux.org/"
BUG_REPORT_URL="https://bugs.rockylinux.org/"
ROCKY_SUPPORT_PRODUCT="Rocky Linux"
ROCKY_SUPPORT_PRODUCT_VERSION="8"
REDHAT_SUPPORT_PRODUCT="Rocky Linux"
REDHAT_SUPPORT_PRODUCT_VERSION="8"

通過源碼編譯CloudberryDB

下載CloudberryDB源碼：

git clone https://github.com/cloudberrydb/cloudberrydb.git
cd cloudberrydb
git checkout 1.5.3

安裝依賴項

sudo dnf groupinstall -y "Development Tools"
sudo dnf install -y epel-releasesudo dnf install -y apr-devel bison bzip2-devel cmake3 flex gcc gcc-c++ krb5-devel libcurl-devel libevent-devel libkadm5  libxml2-devel libzstd-devel openssl-devel perl-ExtUtils-Embed python3-devel python3-pip readline-devel xerces-c-devel zlib-devel~/cloudberrydb/deploy/build/README.Rhel-Rocky.bashpip3.9 install -i https://pypi.tuna.tsinghua.edu.cn/simple -r ~/cloudberrydb/python-dependencies.txt

編譯CloudberryDB，設置安裝路徑為/usr/local/cloudberrydb

cd cloudberrydb
./configure --with-perl --with-python --with-libxml --with-gssapi --prefix=/usr/local/cloudberrydb
make -j8
make install

部署前的準備

下面的步驟需要在三臺服務器都一次執行一次，使用root用戶來執行命令

解壓編譯好的CloudberryDB安裝包到/usr/local目錄下，然后使用下面的命令分別修改每臺服務器的主機名：

hostnamectl set-hostname dfq-cloudberrydb-0x

禁用SELINUX和防火墻

setenforce 0
systemctl stop firewalld
systemctl disable firewalld

修改/etc/hosts文件，包含CloudberryDB所有主機別名與其網絡IP地址的映射：

10.197.165.181 dfq-cloudberrydb-01
10.197.165.182 dfq-cloudberrydb-02
10.197.165.183 dfq-cloudberrydb-03

配置內核參數，在/etc/sysctl.conf文件中添加下面的參數：

# kernel.shmall = _PHYS_PAGES / 2
kernel.shmall = 197951838
# kernel.shmmax = kernel.shmall * PAGE_SIZE
kernel.shmmax = 810810728448
kernel.shmmni = 4096
vm.overcommit_memory = 2
vm.overcommit_ratio = 95
net.ipv4.ip_local_port_range = 10000 65535
kernel.sem = 250 2048000 200 8192
kernel.sysrq = 1
kernel.core_uses_pid = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.msgmni = 2048
net.ipv4.tcp_syncookies = 1
net.ipv4.conf.default.accept_source_route = 0
net.ipv4.tcp_max_syn_backlog = 4096
net.ipv4.conf.all.arp_filter = 1
net.ipv4.ipfrag_high_thresh = 41943040
net.ipv4.ipfrag_low_thresh = 31457280
net.ipv4.ipfrag_time = 60
net.core.netdev_max_backlog = 10000
net.core.rmem_max = 2097152
net.core.wmem_max = 2097152
vm.swappiness = 10
vm.zone_reclaim_mode = 0
vm.dirty_expire_centisecs = 500
vm.dirty_writeback_centisecs = 100
vm.dirty_background_ratio = 0
vm.dirty_ratio = 0
vm.dirty_background_bytes = 1610612736
vm.dirty_bytes = 4294967296kernel.core_pattern=/var/core/core.%h.%t

執行下面的命令使參數生效：

sysctl -p

資源限制設置，在/etc/security/limits.conf文件中添加下面的參數，對軟硬件資源用量進行限制：

*soft nofile 524288
*hard nofile 524288
*soft nproc 131072
*hard nproc 131072* soft core unlimited

創建gpadmin管理用戶：

groupadd -g 520 gpadmin
useradd -g 520 -u 520 -m -d /home/gpadmin/ -s /bin/bash gpadmin
passwd gpadmin

編譯好的CloudberryDB軟件包在/usr/local/cloudberrydb路徑下，為gpadmin用戶授予安裝目錄的權限：

chown -R gpadmin:gpadmin /usr/local/cloudberrydb

在所有的節點安裝依賴：

sudo dnf install -y apr-devel bison bzip2-devel cmake3 epel-release flex gcc gcc-c++ krb5-devel libcurl-devel libevent-devel libkadm5 libxml2-devel libzstd-devel openssl-devel python39 python39-devel python39-psutil python3-pip perl-ExtUtils-MakeMaker.noarch perl-ExtUtils-Embed.noarch readline-devel rsync xerces-c-devel zlib-devel python3-psutil python3-pyyaml python3-psycopg2sudo yum --enablerepo=powertools install -y libyaml-develsu - gpadmin
pip3.9 install -i https://pypi.tuna.tsinghua.edu.cn/simple psutil==5.7.0 pygresql==5.2 pyyaml==5.3.1
sudo rm -rf /usr/bin/python3
sudo ln -s /usr/bin/python3.9 /usr/bin/python3

配置節點間的互信，切換到gpadmin用戶，后續的操作均使用gpadmin用戶進行：

su - gpadmin

創建節點配置信息，在/home/gpadmin/all_hosts里填入下面的信息：

dfq-cloudberrydb-01
dfq-cloudberrydb-02
dfq-cloudberrydb-03

在/home/gpadmin/seg_hosts里填入segment節點的信息：

dfq-cloudberrydb-02
dfq-cloudberrydb-03

在每臺主機上執行下面的命令生成SSH密鑰：

ssh-keygen

在每臺主機上執行下面的命令來配置免密：

ssh-copy-id dfq-cloudberrydb-01
ssh-copy-id dfq-cloudberrydb-02
ssh-copy-id dfq-cloudberrydb-03

初始化CloudberryDB

在Coordinator節點使用gpadmin用戶來操作

在所有的節點執行：

在~/.bashrc文件中添加下面的命令：

source /usr/local/cloudberrydb/greenplum_path.sh

執行下面的命令使命令生效：

source ~/.bashrc

在Coordinator節點使用下面的命令來為Segment節點創建數據目錄和mirror目錄：

gpssh -f seg_hosts
mkdir -p /data/primary
mkdir -p /data/mirror

在Coordinator節點上創建數據目錄：

mkdir -p /data/coordinator

在Coordinator節點的主機上往~/.bashrc文件中添加下面的命令：

export COORDINATOR_DATA_DIRECTORY=/data/coordinator/gpseg-1

執行下面的命令使文件生效：

source ~/.bashrc

配置啟動腳本

在Coordinator節點所在主機上，復制模板文件：

cp $GPHOME/docs/cli_help/gpconfigs/gpinitsystem_config .

修改gpinitsystem_config文件：

1. 端口、Coordinator節點、Segment節點、Mirror節點的信息配置成之前配置的

2. 將DATA_DIRECTORY修改為Segment計算節點的數據目錄：/data/primary

3. 將COORDINATOR_HOSTNAME修改為dfq-cloudberrydb-01

4. 將COORDINATOR_DIRECTORY修改為Coordinator節點數據目錄：/data/coordinator

5. 將MIRROR_DATA_DIRECTORY修改為Mirror的數據目錄：/data/mirror

初始化CloudberryDB數據庫

在gpadmin用戶下，使用下面的命令初始化CloudberryDB：

gpinitsystem -c gpinitsystem_config -h /home/gpadmin/seg_hosts

初始化完成后，將下面的環境變量配置到~/.bashrc里

export PGDATABASE=postgres
export PGHOST=127.0.0.1
export PGUSER=gpadmin
export PGPORT=5432

重新加載~/.bashrc

source ~/.bashrc

使用psql登錄數據庫

[gpadmin@dfq-cloudberrydb-01 ~]$ psql
psql (14.4, server 14.4)
Type "help" for help.postgres=# SELECT version();version                                                                         -----------------------------------------------------------------------------------PostgreSQL 14.4 (Cloudberry Database 1.5.3+dev.57.ge1d276f80e build dev) on x86_64-pc-li
nux-gnu, compiled by gcc (GCC) 8.5.0 20210514 (Red Hat 8.5.0-22), 64-bit compiled on Jun 
19 2024 09:20:42
(1 row)

【Docker中快速部署】

1 docker?pull?registry.cn-hangzhou.aliyuncs.com/lhrbest/cbdb:1.5.4
2 docker?tag?registry.cn-hangzhou.aliyuncs.com/lhrbest/cbdb:1.5.4????lhrbest/cbdb:1.5.4
3
4
5 docker?rm?-f?cbdb
6 docker?run?-d?--name?cbdb?-h?cbdb?\
7??-p??24432:5432?-p??2422:22?\
8??-v?/sys/fs/cgroup:/sys/fs/cgroup?\
9??--privileged=true?lhrbest/cbdb:1.5.4?\
10??/usr/sbin/init
11
12
13? docker?exec?-it?cbdb?bash
14
15
16
17? su?-?gpadmin
18 ?gpstart?-a