Ceph 存儲池（Pool）詳解

Ceph 的 存儲池（Pool） 是邏輯存儲單元，用于管理數據的分布、冗余和訪問策略。它是 Ceph 存儲集群的核心抽象，支持 對象存儲（RGW）、塊存儲（RBD）和文件存儲（CephFS）。以下是對象池的全面解析：

---

1. 存儲池的核心概念

(1) 什么是存儲池？

• 邏輯分區：存儲池是 Ceph 集群中的虛擬存儲分區，類似傳統存儲的“卷”或“LUN”。
• 數據隔離：不同池可配置不同的副本策略、糾刪碼（EC）規則、PG 數量等。
• 多用途：一個 Ceph 集群可創建多個池，分別用于 RGW、RBD、CephFS 等。

(2) 存儲池的關鍵屬性

屬性	說明
pool_id	池的唯一標識符，由 Monitor 分配。
pg_num	歸置組（PG）數量，影響數據分布均衡性。
pgp_num	用于 CRUSH 計算的 PG 數量（通常等于 pg_num）。
size / min_size	副本數（如 size=3 表示 3 副本）。
crush_rule	定義數據分布規則（如跨機架、跨主機）。
erasure_code_profile	糾刪碼配置（如 k=4,m=2）。
application	標記池的用途（如 rbd、rgw、cephfs）。

---

2. 存儲池的類型

(1) 副本池（Replicated Pool）

• 特點：每個對象存儲多份完整副本（默認 size=3）。
• 優勢：高可靠性，恢復速度快。
• 適用場景：高性能塊存儲（RBD）、熱數據對象存儲。
• 示例：

  ceph osd pool create rbd_pool 128 128 replicated
  ceph osd pool application enable rbd_pool rbd
  

(2) 糾刪碼池（Erasure Coded Pool）

• 特點：將對象拆分為 k 個數據塊 + m 個校驗塊，空間利用率高（如 k=4,m=2 僅需 1.5x 空間）。
• 劣勢：恢復速度慢，計算開銷大。
• 適用場景：冷數據歸檔、低成本對象存儲。
• 示例：

  ceph osd erasure-code-profile set ec_profile k=4 m=2
  ceph osd pool create ec_pool 128 128 erasure ec_profile
  

---

3. 存儲池的底層機制

(1) 放置組（PG）

• PG 的作用：

  • 將對象分組管理，減少 CRUSH 計算開銷。
  • 每個 PG 映射到一組 OSD（如 [osd.1, osd.5, osd.9]）。

• PG 數量公式：

  pg_num = OSD總數 * 100 / 副本數或者糾刪碼k+m （結果取2的n次冪）

  • 例如：100 個 OSD、3 副本 → pg_num=1024。

(2) CRUSH 規則

• 定義數據分布策略：
  • 控制 PG 如何映射到 OSD（如跨機架、跨主機）。
• 示例規則：

  ceph osd crush rule create-replicated replicated_rule default host
  

(3) 數據存儲流程

1. 客戶端寫入對象 → 計算 object_id 的哈希值 → 確定所屬 PG。
2. CRUSH 算法 根據 PG ID 和規則 → 選擇目標 OSD 列表（如 3 副本）。
3. 數據寫入 OSD，元數據由 Monitor 記錄。

---

4. 存儲池的管理操作

(1) 創建與配置

# 創建副本池
ceph osd pool create my_pool 128 128 replicated# 創建糾刪碼池
ceph osd erasure-code-profile set ec_profile k=4 m=2
ceph osd pool create ec_pool 128 128 erasure ec_profile# 設置池屬性
ceph osd pool set my_pool size 3     # 修改副本數
ceph osd pool set my_pool pg_num 256 # 調整 PG 數量

(2) 監控與統計

# 查看所有池
ceph osd pool ls [detail]# 查看池用量
ceph df# 查看 PG 分布
ceph pg dump | grep <pool-id>

(3) 刪除與清理

# 刪除池（需確認兩次）
ceph osd pool delete my_pool my_pool --yes-i-really-really-mean-it# 清理殘留數據
rados -p my_pool purge --yes-i-really-mean-it

---

5. 存儲池的最佳實踐

(1) PG 數量優化

• 每個 OSD 承載約 100 PG（避免過多或過少）。
• 使用 pg_autoscaler 自動調整：

  ceph mgr module enable pg_autoscaler
  ceph osd pool set my_pool pg_autoscale_mode on
  

(2) 性能調優

• 副本池：優先使用 SSD 存儲 WAL/DB 日志。
• 糾刪碼池：為 EC 計算預留額外 CPU 核（每節點 2-4 核）。

(3) 故障域設計

• 跨機架/主機分布：

  ceph osd crush rule create-replicated replicated_rule default rack
  

---

6. 常見問題

Q1: 池的 PG 數量設置錯誤如何修復？

• 擴容 PG：

  ceph osd pool set my_pool pg_num 256
  ceph osd pool set my_pool pgp_num 256
  

• 注意：減少 PG 數量通常不支持。

Q2: 如何遷移數據到新池？

• 使用 rados cppool 或 rbd migration（塊存儲）：

  rados cppool old_pool new_pool
  

Q3: 池的副本數可以動態修改嗎？

• 可以，但需觸發數據遷移：

  ceph osd pool set my_pool size 3
  

---

總結

• 對象池是 Ceph 的邏輯存儲單元，支持副本和糾刪碼兩種冗余策略。
• PG 和 CRUSH 規則 共同決定數據分布，需合理配置以避免熱點。
• Monitor、OSD、MGR 協同維護池，分別負責元數據、存儲和自動化管理。
• 最佳實踐：根據負載類型選擇池類型，監控 PG 分布，優化故障域。