大家好，我是鋒哥。今天分享關于【Kafka中的消息是如何存儲的？】面試題。希望對大家有幫助；

1000道 互聯網大廠Java工程師 精選面試題-Java資源分享網

在 Kafka 中，消息是通過 日志（Log） 的方式進行存儲的。Kafka 的存儲模型設計非常高效，能夠處理大規模的數據流，下面詳細介紹 Kafka 中消息的存儲方式：

1.?分區（Partition）

Kafka 中的每個 主題（Topic） 可以包含多個 分區（Partition）。每個分區是一個 有序的、不可變的消息序列。Kafka 的消息存儲實際上是基于分區的，每個分區是一個獨立的日志文件。每個分區內的消息都有一個 順序的偏移量（offset），這個偏移量是唯一的，可以標識消息在分區中的位置。

• 每個分區是?線性增長的，即新寫入的消息會追加到分區日志的末尾。
• 每個消息在 Kafka 中都會有一個唯一的偏移量，它標識該消息在分區中的位置。偏移量是遞增的，且不允許重復。

2.?消息存儲的文件結構

Kafka 中每個分區都對應于文件系統中的一個目錄，該目錄下存儲著實際的日志文件（日志段文件）。這些日志文件會隨著時間的推移而生成。

結構如下：

• 日志段文件（Log Segments）：每個分區會生成一個或多個日志段文件，每個文件存儲一段時間內的消息。這些文件通常是 append-only 的，即消息會不斷地被追加到文件末尾。Kafka 通過這種方式實現高效的磁盤寫入。

  • 一個日志段文件通常包含一定數量的消息。
  • 每個日志段文件通常會以時間戳或大小為閾值分割。

• 索引文件（Index Files）：為了快速定位消息，Kafka 會為每個分區的日志段生成一個索引文件。該索引文件存儲了消息的偏移量與文件中位置的映射。通過索引文件，消費者可以快速定位到某個特定消息。

3.?消息的存儲格式

Kafka 消息的存儲格式通常包括以下幾個部分：

• 消息頭（Header）：包括消息的元數據，如時間戳、消息類型等。
• 消息體（Body）：這是實際的消息內容。
• 校驗和（Checksum）：為了保證消息的完整性，Kafka 會對消息進行校驗，確保在傳輸和存儲過程中沒有數據損壞。

4.?日志的持久化與清理

Kafka 的消息并不是永久存儲的。消息會根據配置的 保留策略 進行清理。Kafka 支持兩種主要的日志保留策略：

• 基于時間的保留（Time-based retention）：消息在 Kafka 中存儲一段指定的時間，例如可以配置 Kafka 保留消息 7 天，超過7天的消息將被自動刪除。

• 基于大小的保留（Size-based retention）：當分區中的日志文件達到某個大小時，舊的消息會被刪除或壓縮，以釋放空間。比如，可以配置保留最多1GB的數據，超過該大小時，最舊的日志會被刪除。

Kafka 的日志清理是一個后臺任務，它會定期檢查日志的大小或存儲時間，自動刪除過期的消息。這種設計使得 Kafka 在處理海量數據時能夠有效管理磁盤空間。

5.?消息的副本（Replication）

為了保證數據的高可用性和容錯性，Kafka 支持消息的 副本機制（Replication）。每個分區可以有多個副本（副本數量由配置決定），這些副本存儲在不同的 Kafka 節點上。

• 主副本（Leader）：每個分區有一個主副本（Leader），所有的生產者和消費者通過主副本來讀寫數據。
• 副本（Followers）：主副本有一個或多個副本，副本同步主副本的消息，確保即使主副本故障，也能從副本恢復數據。

副本機制不僅保證了數據的高可用性，還能提高 Kafka 的容錯能力。即使某些 Kafka 節點出現故障，數據依然可以從其他副本恢復。

6.?消費與存儲隔離

Kafka 中的消息存儲和消費是 解耦的，這意味著消息一旦寫入 Kafka 中，就會持續存在于磁盤上，直到它們滿足清理條件（例如超過保留時間或達到大小限制）。消費者消費數據時不需要影響消息的存儲，消費者可以隨時從任何偏移量開始讀取數據。這種設計使得 Kafka 能夠實現高效的數據存儲與消費。

總結

Kafka 中的消息存儲基于 分區（Partition） 和 日志文件。每個主題由多個分區組成，分區內部的消息以 順序追加的方式 存儲。每個分區中的消息按偏移量排序，消息會保存在磁盤上，直到滿足保留策略（如時間或大小限制）。此外，Kafka 通過 副本機制 提高了數據的容錯性和高可用性，確保消息在分布式環境中的可靠存儲。