前言

Redis 是在開發過程中經常用到的緩存中間件，為了考慮在生產環境中穩定性和高可用，Redis通常采用集群模式的部署方式。

在制定Redis集群的部署策略時，常規部署在虛擬機上的方式配置繁瑣并且需要手動重啟節點，相較之下，使用 PetaExpress 提供的

Kubernetes(k8s) 服務 進行 Redis 集群的部署，則展現出了顯著的優勢：

1、安裝便捷：使用鏡像或者 yaml 配置文件即可一件安裝，極大地簡化了安裝流程

2、縮擴容方便：在 擴容 、 縮容 方面的優點一鍵伸縮，無需復雜的配置和繁瑣的步驟

3、智能自動調度：容器意外掛掉后能夠迅速進行自動調度重啟和資源分配

4、高效且穩定： Kubernetes 在整個集群上進行調度，只要整個集群不掛掉總會調度到合適節點重啟容器服務

閱讀全文，后面告訴你怎么免費白拿紅包

在 PetaExpress KubeSphere容器平臺部署 Kubernetes集群

在 Peta Express 中部署 Kubernetes 非常簡單，直接使用 Peta Express 中內置的 QKE 即可，登錄到 Peta Express 控制臺，在產品與服務中找到 AppCenter 控制臺 → 應用中心。

找到 QKE 立即部署即可。

按照提示輸入名稱，選擇集群規模等信息，直接提交就行了。但需要注意集群的配置，如果是開發測試可以選擇 “基礎型開發環境” 或 “企業型測試環境”，如果是生產的話則可以選擇 “基礎型生產環境” 或 “企業型生產環境”，也可以自定義集群規模和HA。

根據集群的規模，部署時間大致2分鐘到10分鐘不等，還是非常快的。部署完 Kubernetes, 接下來我們就可以開始進入正題 安裝 Redis 了。

安裝 Redis 集群

我這里新建了一個 test-project 的項目空間來做 Redis 集群所有安裝資源的放置，后續在 DNS 上會用到項目空間名稱，會標注這一部分，需要注意用自己的項目空間名。

Redis 集群的安裝流程大致分為以下幾個關鍵步驟：

①配置 redis.conf 字典;

②創建 redis 服務;

③容器組配置;

④存儲設置;

⑤高級設置。

接下來，我們將從第一步開始，逐步完成 Redis 集群的安裝和配置過程。

配置 redis.conf 字典

在項目空間的 配置 → 配置字典 → 創建 進行配置字典的創建。

名稱就叫 redis-conf 然后下一步 添加鍵值對數據。

key 值的內容為 redis.conf ， value 值為：

創建 Redis 服務

在項目空間的 應用負載 → 工作負載 → 有狀態副本集 → 創建 進行 Redis 服務的創建。

基本設置里名稱就叫 redis-cluster 然后進行重頭戲，下一步的 容器組配置 。

容器組配置

這一步的核心就是配置 Redis 的容器，集群數量我們通常采用三主三從的集群配置，那容器的副本數量就是 6 個，這樣的配置不僅保證了系統的穩定性，也提升了數據的安全性。

容器組副本數量調到 6 個，點擊添加容器。
?

鏡像選擇 docker hub 中 redis ，并選擇使用默認端口，CPU 和內存可以選擇性預留，如果不預留就是調度公共資源。

選擇 使用默認端口 的話下面的端口設置就是如上圖一樣都會使用 6379 ，還有就是配置啟動命令。

如上圖配置：

命令： redis-server

參數： /etc/redis/redis.conf

參數指向的就是之前字典配置的內容，但是需要下一步 存儲設置 里進行配置字典才能使用。

其他內容沒有什么需要配置的，選擇對勾完成容器配置。

更新策略就是推薦的 滾動更新 ，其他也沒什么需要修改的，點擊下一步配置存儲設置 。
　　存儲設置

在這一步有兩個操作

添加存儲卷模板

掛載配置字典或保密字典

 **添加存儲卷模板**

PVC 名稱前綴：redis-pvc

容量：10G

掛載路徑：

權限：讀寫

地址：/data

主要是掛載路徑選好，配置好后點擊對勾完成配置

掛載配置字典或保密字典

這一步是掛載我們之前配置的字典 redis-conf ，也是我們 redis 啟動命令的參數內容。

選擇 redis 的配置字典。

掛載權限為： 只讀 ，地址為： /etc/redis ;跟上面的命令參數的配置相對應。

特定鍵選擇 redis.conf 后面同名 redis.conf ，完成后點擊對勾回到存儲設置。配置好后就入上圖，點擊下一步進入最后的高級設置。

高級設置 里是一些額外配置，可以根據自己場景選擇調整配置，調成完成后點擊 創建 進行 Redis 集群容器的創建。

初始化 Redis 集群

創建完 Redis 服務后 在項目空間的 應用負載 → 服務 → 指定redis服務 進入 redis 服務詳情，詳情如下圖：

6 個 redis 的容器組都啟動成功了，接下來就是初始化集群;因為我們配置的 redis 的服務是 有狀態服務 (Headless) 所以訪問模式可以通過內部 DNS，訪問格式是：(容器名稱).( 容器 DNS).svc.cluster.local。

按上圖示例 比如訪問集群 1 節點訪問地址就是 redis-cluster-v1-1 加 DNS 地址 redis-cluster.test-project 加svc.cluster.local ，完整地址如下：

1 redis-cluster-v1-1.redis-cluster.test-project.svc.cluster.local
2

在 redis 集群的非第一節點的其他節點終端內通過這個地址進行訪問驗證他們是否互通，進入 3 節點的終端，如下圖：

進入終端，執行命令：

如果能如下圖一樣跳轉到 v1-1 的節點上就代表這兩個節點互通。

1 redis-cli -h redis-cluster-v1-1.redis-cluster.test-project.svc.clusterredis.local

2

如果能如下圖一樣跳轉到 v1-1 的節點上就代表這兩個節點互通。

執行命令： cluster info 查看節點的集群情況。

主要看上圖的這兩個參數， nodes 為 1 表明當前節點只有 1 個， cluster_size 表明當前沒有 master 節點，所以目前還不是集群結構， info 屬性的詳解在此列出：

cluster_state ：ok 狀態表示集群可以正常接受查詢請求。fail 狀態表示，至少有一個哈希槽沒有被綁定(說明有哈希槽沒有被綁定到

任意一個節點)，或者在錯誤的狀態(節點可以提供服務但是帶有 FAIL 標記)，或者該節點無法聯系到多數 master 節點。

cluster_slots_assigned ：已分配到集群節點的哈希槽數量(不是沒有被綁定的數量)。16384 個哈希槽全部被分配到集群節點是集群

正常運行的必要條件。

cluster_slots_ok ：哈希槽狀態不是 FAIL 和 PFAIL 的數量。

cluster_known_nodes ：集群中節點數量，包括處于握手狀態還沒有成為集群正式成員的節點。

cluster_slots_pfail ：哈希槽狀態是 PFAIL 的數量。只要哈希槽狀態沒有被升級到 FAIL 狀態，這些哈希槽仍然可以被正常處理。

PFAIL 狀態表示我們當前不能和節點進行交互，但這種狀態只是臨時的錯誤狀態。

cluster_slots_fail ： 哈希槽狀態是 FAIL 的數量。如果值不是 0，那么集群節點將無法提供查詢服務，除非 cluster-require-full

coverage 被設置為 no。

cluster_current_epoch ：集群本地 Current Epoch 變量的值。這個值在節點故障轉移過程時有用，它總是遞增和唯一的。

cluster_my_epoch ：當前正在使用的節點的 Config Epoch 值。這個是關聯在本節點的版本值。

cluster_size ：至少包含一個哈希槽且能夠提供服務的 master 節點數量。

cluster_stats_messages_sent ：通過 node-to-node 二進制總線發送的消息數量。

cluster_stats_messages_received ：通過 node-to-node 二進制總線接收的消息數量。

IP 地址初始化集群(初始化方案一)

先嘗試使用 ip + port 的方式初始化集群，但是在 Kubernetes( K8s) 中啟動服務 ip 都會變化，所以最終的結果還是要用 DNS 方式進行集群初始化。

執行本步后再想修改為 DNS 地址初始化需要從來一遍，如果不想麻煩的同學可以直接跳過。

記錄 redis 集群的所有 ip+port，初始化命令如下：

1redis-cli --cluster create 10.233.70.30:6379 10.233.70.32:6379 10.233.90.41:6379 10.233.90.43:6379 10.233.96.47:6

2

進入 redis 集群隨意一個節點的 終端 執行上面的命令。
?

如上圖集群初始化就完成了，再輸入命令 redis-cli 進入命令端，再執行 cluster info 查看集群信息。
?

　　現在我們的集群節點有了 6 個， master 節點也有了三個，集群建立完成，后面的操作選擇 master 節點進行操作。

在對集群節點進行驗證的時候如果遇到上圖的錯誤 (error) MOVED 2589 10.233.70.30:6379 是因為 redis-cli 沒有開啟集群模式，將命令修改為 redis-cli -c 就切換為集群模式了。

　使用內部 DNS 初始化(初始化方案二)

使用 ip 地址的方式在每次 K8s 調度 redis 后 ip 都會發生變化，所以在 K8s 集群中使用 ip 方式初始化集群并不太合適，但是如果使用內部 DNS 直接跟上面一樣初始化集群會出現錯誤，因為 redis 對域名的支持并不太好，所以這時候可以用 Redis-tribe 。

　創建 Redis-tribe 服務

在項目空間的 應用負載 → 工作負載 → 創建 → 編輯 YAML 進行Redis-tribe服務的創建。

參數 namespace 就寫項目名稱：

具體 YAML 內容如下：

創建好后在容器組內找到 redis-cluster-tools 。

初始化集群

點擊容器名稱進入容器詳情再進入到終端里。

1apiVersion: apps/v1

2kind: Deployment

3metadata:

4namespace: test-project

5labels:

6app: redis-cluster-tools

7name: redis-cluster-tools

8spec:

9replicas: 1

10selector:

11matchLabels:

12app: redis-cluster-tools

13template:

14metadata:

15labels:

16app: redis-cluster-tools

17name: pos-redis

18spec:

19containers:

20- name: pos-redis

21image: sunnywang/redis-tools-ubuntu:v0.5.1

22imagePullPolicy: IfNotPresent

23args:

24- /bin/bash

25- -c

26- sleep 3600

27

創建好后在容器組內找到 redis-cluster-tools 。

初始化集群

點擊容器名稱進入容器詳情再進入到終端里。

先執行以下命令初始化 master 節點，這時候之前的內部 DNS 的域名就有用了。

1 redis-trib.py create?dig +short redis-cluster-v1-0.redis-cluster.test-project.svc.cluster.local:6379 `dig +shor

2

執行結果如下圖：

接下來給每個 master 節點綁定對應的副本節點，總共三個：

0 節點->3 節點

1redis-trib.py create?dig +short redis-cluster-v1-0.redis-cluster.test-project.svc.cluster.local:6379 `dig +shor

2

1 節點->4 節點

1redis-trib.py replicate --master-addr `dig +short redis-cluster-v1-0.redis-cluster.test-project.svc.cluster.local

2

2 節點->5 節點

1redis-trib.py replicate --master-addr `dig +short redis-cluster-v1-1.redis-cluster.test-project.svc.cluster.loca

2

執行結果如下：

驗證

隨便進入一個集群節點的終端，還是執行 cluster info 命令，查看集群信息。

使用基礎命令進行驗證，驗證集群模式的 redis-cli 需要加 -c 。

驗證集群模式可以正常使用。

憑此文章可以去petaexpress官網發工單免費白拿10美元紅包，數量有限先到先得。申領步驟：注冊→登錄→發工單回復“文章網址+文章標題+申請獎勵”
?