Ceph 對象存儲概述
Ceph 是一個開源分布式存儲系統，旨在提供高度可擴展、高度可用、容錯、性能優異的存儲解決方案。它結合了塊存儲、文件系統存儲和對象存儲的功能，且在設計上具有極高的可擴展性和靈活性。
在 Ceph 中，對象存儲（Ceph Object Storage）是一個非常重要的組件，它主要是通過 RADOS（可靠自動分布式對象存儲）來實現的。Ceph 對象存儲通常用于存儲非結構化數據，比如大規模的圖片、視頻、備份等，它支持通過 RESTful API 提供對象存儲服務。
Ceph 對象存儲通過 RGW (Rados Gateway) 提供訪問接口，支持兼容 Amazon S3 和 OpenStack Swift 的接口，使得應用程序可以通過標準的對象存儲 API 與 Ceph 進行交互。
Ceph 對象存儲架構
-
RADOS (Reliable Autonomous Distributed Object Store):
- RADOS 是 Ceph 存儲系統的核心，負責存儲對象。它將對象數據切割成 對象，并將這些對象分布存儲在多個 OSD (Object Storage Device) 節點中。
- RADOS 提供分布式一致性和高可用性，確保數據的持久性與可靠性。它利用 CRUSH 算法來管理數據如何分布，基于對象的冗余機制（如副本或 Erasure Coding）來確保容錯。
-
RGW (Rados Gateway):
- RGW 提供兼容 S3 和 Swift 的接口，使得用戶和應用程序可以像訪問傳統對象存儲服務（如 Amazon S3）一樣訪問 Ceph 的對象存儲。
- RGW 是 Ceph 對象存儲的訪問層，支持多種對象存儲功能，如認證、權限控制、生命周期管理等。
-
OSD (Object Storage Daemon):
- OSD 是 Ceph 集群中的存儲節點，它負責管理和存儲對象數據，每個 OSD 實例都管理著本地的一個或多個硬盤。
- OSD 節點在存儲數據時使用 CRUSH 算法來分布數據，并且可以在節點或硬盤發生故障時，依靠副本或 Erasure Coding 進行數據恢復。
-
Monitors (MON):
- MON 節點負責監控 Ceph 集群的狀態，保持集群的健康，確保集群的元數據和配置的一致性。
- MON 節點管理集群映射、OSD 映射等，提供一致的視圖，幫助集群發現和恢復故障節點。
-
MDS (Metadata Server):
- MDS 負責管理 CephFS 的元數據，但在對象存儲中并不直接使用 MDS，除非 CephFS 文件系統也被使用。
Ceph 對象存儲的主要特性
-
高可擴展性:
- Ceph 對象存儲能夠輕松擴展，只需增加更多的 OSD 節點即可實現橫向擴展，不需要手動調整存儲池或對象布局。
-
高可用性:
- 由于數據是冗余存儲的，Ceph 對象存儲可以確保在單個節點或硬盤故障時不會丟失數據，數據通過副本（Replicas）或 Erasure Coding 保證高可用性。
-
容錯性:
- Ceph 通過 CRUSH 算法對數據進行分布式存儲，并在硬件故障發生時自動恢復數據，保證系統的持續運行。
-
數據冗余與 Erasure Coding:
- 默認情況下，Ceph 使用副本來存儲數據，但也支持 Erasure Coding，它提供了更高效的數據冗余方式，尤其適合大規模數據存儲。
- Erasure Coding 通過將數據切分為多個片段并進行糾錯編碼來提高存儲效率，同時減少了存儲空間的浪費。
-
對象生命周期管理:
- Ceph 對象存儲提供對象生命周期管理功能，允許自動對對象進行歸檔、刪除等操作。
- 支持基于時間、版本、標簽等條件的生命周期管理，適用于長期存儲。
-
支持 S3 和 Swift 協議:
- 通過 Rados Gateway（RGW），Ceph 對象存儲支持兼容 Amazon S3 和 OpenStack Swift 的 API。這使得現有應用程序可以無縫地遷移到 Ceph 上，而無需更改大量代碼。
-
多租戶支持:
- RGW 支持多租戶環境，能夠為不同的用戶或應用提供獨立的命名空間和權限控制。
-
統一的存儲平臺:
- Ceph 不僅僅提供對象存儲服務，還可以與 CephFS（文件系統存儲）和 RBD（塊存儲）等其他存儲類型一起使用，構成一個統一的存儲平臺。
Ceph 對象存儲的配置
Ceph 對象存儲的配置需要以下幾個主要組件：
-
安裝與配置 Ceph 集群：
- 安裝并配置 Ceph 集群，包括 MON、OSD、MDS 等組件，確保集群能夠正常運行。
-
配置 Rados Gateway (RGW)：
- 配置 RGW 節點，確保它能夠通過 HTTP 服務提供對象存儲接口。
- 配置 RGW 來支持 S3 或 Swift 接口。
示例配置：
[client.rgw.ceph] rgw_frontend = "civetweb port=8080" rgw_dns_name = "s3.ceph.com" rgw_s3_auth_use_x_amz_date = true -
創建存儲池：
- Ceph 使用存儲池（pool）來存儲數據。創建存儲池，并配置適當的副本數或 Erasure Coding 策略。
示例配置：
ceph osd pool create radosgw 128 128 ceph osd pool set radosgw size 3 -
配置對象存儲權限：
- Ceph 支持基于訪問控制的權限管理。可以通過配置 RGW 中的訪問策略來限制哪些用戶可以訪問哪些對象存儲資源。
示例配置：
radosgw-admin user create --uid="user1" --display-name="User One" -
開啟多租戶支持：
- 如果需要多租戶支持，可以啟用 RGW 的多租戶功能，在 RGW 中為不同的租戶分配獨立的存儲空間和權限。
Ceph 對象存儲的使用案例
-
大數據存儲：
- Ceph 對象存儲是大數據處理的理想存儲后端，尤其適用于如 Hadoop、Spark 等分布式計算框架，可以存儲海量數據并提供高效的讀取/寫入。
-
備份與歸檔：
- Ceph 的高可用性和容錯能力使其成為備份和歸檔數據的理想選擇，特別是使用 Erasure Coding 可以減少存儲的成本。
-
媒體存儲：
- 大規模的圖片、視頻和其他多媒體文件可以通過 Ceph 對象存儲進行高效管理。它支持分布式訪問，適合需要高吞吐量和低延遲的應用。
-
云原生存儲：
- 許多云平臺（如 OpenStack）都可以將 Ceph 對象存儲作為其后端存儲，用于提供大規模的對象存儲服務。
結論
Ceph 對象存儲通過其分布式、容錯、高可擴展性設計，成為一個非常強大的對象存儲平臺，適用于各種大數據和高性能計算場景。通過配置 Rados Gateway 和兼容 S3 或 Swift 接口，Ceph 能夠輕松集成到現有的應用程序中，并提供強大的數據存儲、管理和訪問能力。
工具)
