Ceph存儲原理解析
要理解 Ceph 的存儲原理，我們可以用一個 “分布式倉庫” 的比喻來拆解 —— 把 Ceph 想象成一個由多個 “倉庫管理員”（硬件節點）共同打理的大型倉庫，能高效存儲、管理海量貨物（數據），還能保證貨物不丟、不壞、隨時能取。
一、先明確 Ceph 的核心目標：解決 “海量數據怎么存” 的痛點
傳統存儲（比如單臺服務器的硬盤）有三個致命問題：
- 1.容量有限：硬盤滿了就沒法存；
- 2.不安全：硬盤壞了數據就丟了；
- 3.速度慢：大量數據同時讀取時卡頓。.
Ceph 的核心思路就是 “把多臺服務器的硬盤拼起來，用一套規則統一管理”，既解決容量問題，又通過 “多份備份” 保證安全，還能 “并行讀寫” 提升速度。
二、Ceph 的核心組件：3 個 “關鍵角色”
就像倉庫需要 “管理員”“貨架”“搬運工”，Ceph 也有三個核心組件，各司其職：
| 組件角色 | 比喻（倉庫場景） | 實際作用 |
|---|---|---|
| MON（監控節點） | 倉庫總控室 | 監控整個集群狀態（比如 “哪個貨架壞了”“還有多少空位”），給其他組件發指令，保證集群不亂。 |
| OSD（存儲節點） | 貨架 + 管理員 | 實際存數據的 “硬盤載體”（每臺服務器的硬盤對應一個 OSD），同時負責數據的備份、修復。 |
| PG（Placement Group） | 貨物分類標簽 | 把數據 “打包分組”，避免數據混亂（比如 “所有家電放一組，所有零食放一組”），方便管理和查找。 |
三、Ceph 存儲數據的 “3 步魔法”
從 “數據” 到 “安全存在硬盤里”，我們以存一張照片（比如 vacation.jpg）為例，看 Ceph 是怎么把它存到集群里的：
第 1 步：給數據 “貼標簽”—— 計算 PG
注：Ceph 不會直接把照片丟給某個硬盤，而是先給數據 “分類”：
- 1.給照片算一個唯一的 “身份證號”（用哈希算法對文件名 / 路徑計算，得到一個數字）；
- 2.根據這個 “身份證號”，分配一個 PG 分組（比如分到 “PG-10” 這個組）。
👉 作用：比如一個集群有 1000 個硬盤（OSD），如果直接給每個數據分配硬盤，管理成本極高；但先分 100 個 PG，每個 PG 對應 10 個硬盤，就簡單多了。
第 2 步：給 PG “找貨架”——CRUSH 算法分配 OSD
Ceph 有個 “智能分配規則” 叫 CRUSH 算法，它根據兩個關鍵信息給 PG 找 “存放的貨架（OSD）”：
- 1.集群狀態：比如 “哪個 OSD 有空位”“哪個 OSD 沒壞”；
- 2.存儲策略：比如 “這組數據要存 3 份備份”“不能把備份存在同一臺服務器上（避免服務器斷電全丟）”。
比如 CRUSH 會把 “PG-10” 分配給 3 個不同服務器的 OSD（比如 OSD-1、OSD-5、OSD-9），保證數據有 3 份備份，且不會因為一臺服務器壞了就丟數據。
第 3 步：數據 “寫入 + 備份”——OSD 之間同步
- 1.數據先傳到第一個 OSD（比如 OSD-1），OSD-1 把數據存到自己的硬盤里；
- 2.OSD-1 再把數據同步給另外兩個 OSD（OSD-5、OSD-9），確保 3 份數據完全一致；
- 3.只有當 3 個 OSD 都回復 “存好了”，Ceph 才會告訴用戶 “數據存成功了”。
👉 安全保障：哪怕 OSD-1 壞了，OSD-5 和 OSD-9 里還有備份，Ceph 會自動再找一個新的 OSD 補全 3 份，數據永遠不會丟。
四、Ceph 怎么 “讀數據”？—— 快速找到并返回
當你要讀這張照片時，Ceph 只需要 3 步：
- 1.用同樣的哈希算法，根據文件名算出 “身份證號”，找到對應的 PG（還是 PG-10）；
- 2.通過 CRUSH 算法，知道 PG-10 存在 OSD-1、OSD-5、OSD-9 上；
- 3.從 “最近 / 沒壞” 的 OSD 里讀數據（比如 OSD-1 離得最近，就從它那讀），返回給用戶。
👉 速度保障：不用遍歷所有硬盤，直接定位到目標 OSD，還能選最近的，讀取速度快。
五、Ceph 怎么 “修壞的貨架”？—— 自動修復，不用人工
如果某個 OSD 壞了（比如硬盤故障）：
- 1.MON 監控到 “OSD-1 離線了”，立刻告訴整個集群；
- 2.CRUSH 算法發現 “PG-10 只剩 2 份備份了”，就找一個新的空閑 OSD（比如 OSD-12）；
- 3.讓 OSD-5（或 OSD-9）把數據復制到 OSD-12，補全 3 份備份；
- 4.修復完成后，集群又回到 “3 份備份” 的安全狀態，全程不用人工干預。
六、Ceph 能存 “不同類型的貨物”——3 種存儲模式
Ceph 不止能存文件（比如照片、文檔），還能存 “塊設備”（比如給虛擬機當硬盤）、“對象”（比如云存儲里的圖片），本質是在上面的核心原理基礎上，加了不同的 “接口”：
- 對象存儲（RGW）：給云服務用（比如存手機上傳的照片），按 “對象”（數據 + 元信息）存儲；
- 塊存儲（RBD）：給虛擬機 / 物理機當硬盤用（比如給服務器加一塊 “虛擬硬盤”）；
- 文件存儲（CephFS）：像本地文件夾一樣用（比如服務器掛載一個 “共享文件夾”，多臺機器能同時讀寫）。
總結
Ceph 的核心邏輯Ceph 本質是 “用 CRUSH 算法把數據分組（PG），分配到多個 OSD 上存多份備份，再用 MON 監控集群狀態，自動修復故障”。它解決了傳統存儲 “容量小、不安全、速度慢” 的問題，所以能支撐海量數據場景（比如云服務、大數據存儲）。
