etcd 數據庫由 CoreOS 公司創建。

https://github.com/etcd-io/etcd

api信息
https://etcd.io/docs/v3.5/dev-guide/api_reference_v3/
etcdctl --help

etcd 最初由 CoreOS 公司開發，作為其核心項目之一。
CoreOS 成立于 2013 年，專注于容器化技術（如 Linux 容器、rkt 容器運行時）和分布式系統基礎設施。

2018 年，CoreOS 被 Red Hat 收購（后 Red Hat 又并入 IBM）

輕量級、高可用的鍵值存儲，用于存儲分布式系統的關鍵元數據（如服務發現、配置管理）。

具有強一致性、高可靠性和易用性。

ETCD 是一個高可用的分布式鍵值key-value數據庫，可用于服務發現。

etcd 存儲了 K8s 集群的所有狀態（如 Pod 定義、Service 配置、節點信息），是控制平面的“大腦”。
基于 Raft 共識算法，提供強一致性、高可用性，支持 watch 機制實現實時數據同步。

K8S API 服務器接收到請求后，會驗證請求格式和內容。通過驗證的請求會被存儲到 etcd（Kubernetes 的分布式數據庫）中。
對象創建：一旦存儲在 etcd 中，Pod 就被正式創建，標記為 Pending 狀態。

Raft 算法

https://www.youtube.com/watch?v=YbZ3zDzDnrw&feature=youtu.be

角色
Leader選舉（Leader election）
日志復制（Log replication）
安全性（Safety）
日志壓縮（Log compaction）

Raft將系統中的角色分為領導者（Leader）、跟從者（Follower）和候選者（Candidate）

Leader：接受客戶端請求，并向Follower同步請求日志，當日志同步到大多數節點上后告訴Follower提交日志。
Follower：接受并持久化Leader同步的日志，在Leader告之日志可以提交之后，提交日志。
Candidate：Leader選舉過程中的臨時角色。

Raft 任意時刻最多只有一個Leader，正常工作期間只有Leader和Followers。
Raft算法將時間分為一個個的周期（term）
選舉Leader之后，Leader會在整個周期內管理整個集群
如果Leader選舉失敗，該term就會因為沒有Leader而結束。
沒有服務器贏得多數的選票，Leader選舉失敗，等待選舉時間超時后發起下一次選舉。

leader會定期發送心跳，根據唯一Term標識進行通信
選舉超時隨機化：節點在超時時間內未收到leader心跳會發起選舉，但超時時間隨機化（如150ms-300ms），確保大多數情況下只有一個節點率先發起選舉。

Follower將其當前term加一然后轉換為Candidate。
它首先給自己投票并且給集群中的其他服務器發送 RequestVote RPC。

當舊leader恢復時，它會發現當前Term已超過自己的Term，立即切換為Follower狀態，并接受新leader的日志。
如果舊leader在失聯期間提交了部分日志，新leader會通過日志復制機制（AppendEntries RPC）強制舊leader回退沖突日志，確保全局一致性。

日志沖突處理：如果舊leader在失聯期間提交了部分日志，新leader會通過日志復制機制（AppendEntries RPC）強制舊leader回退沖突日志，確保全局一致性。

Raft要求leader必須獲得超過半數的節點確認（quorum）才能提交日志。即使網絡分區導致部分節點隔離，只有擁有多數節點的分區能選舉新leader，另一分區無法形成有效選舉。

Raft保證新leader一定包含所有已提交的日志（通過RequestVote階段的日志完整性檢查），避免日志分叉。

如果leader突然崩潰導致缺少了一條followers的條目,則Leader為了使Followers的日志同自己的一致，Leader需要找到Followers同它的日志一致的地方，然后覆蓋Followers在該位置之后的條目。
當 leader 和 follower 日志沖突的時候，leader 將校驗 follower 最后一條日志是否和 leader 匹配，如果不匹配，將遞減查詢，直到匹配，匹配后，刪除沖突的日志。這樣就實現了主從日志的一致性。
Leader會通過RPC向follower發出日志復制，等待所有的follower復制完成，這個過程是阻塞的。
老的leader里面沒提交的數據會回滾，然后同步新leader的數據。

持久化

etcd 通過 WAL + Snapshot 的組合
日志會定期壓縮，帶有快照功能
Leader 節點會保留所有未提交的日志條目，但已提交的日志會在以下條件觸發壓縮

已接收10000條日志條目，或者超過5分鐘

日志保留策略：快照生成后，所有早于該快照的日志會被標記為可刪除。

每個節點上的kubelet定期向API Server上報節點狀態（如CPU、內存、磁盤使用情況），API Server將這些信息寫入etcd。
當創建Pod時，API Server將Pod的元數據（如名稱、標簽、容器鏡像等）寫入etcd。

調度器從etcd讀取節點狀態和Pod元數據，基于算法（如資源匹配、親和性規則）選擇最佳節點，并將調度結果寫回etcd。

etcd使用Raft算法保證強一致性，確保所有節點看到的數據視圖一致。這對調度器的決策至關重要，避免“裂腦”問題。

etcd通過多版本控制系統（MVCC）保存鍵值的所有歷史變更
默認保留最近1000個版本，舊版本會被合并到歷史文件。
MVCC版本號遞增：每次修改操作（如 PUT、DELETE）均觸發全局版本號加1，支持數據追溯和并發控制。
啟動參數作用：

建議通過 etcdctl endpoint status 或監控工具（如 Prometheus）觀察版本號和存儲使用情況，結合業務需求調整參數配置。

空間問題

–auto-compaction-retention
作用：設置自動壓縮（Auto-Compaction）的保留策略，控制舊版本數據的保留時間。
原理：ETCD會定期清理低于指定保留時間的舊版本數據，釋放存儲空間。
配置示例：
–auto-compaction-retention=1h：保留最近1小時內的數據，自動壓縮更早的版本。
若未配置此參數，默認禁用自動壓縮（需手動執行 compact 命令）。
–auto-compaction-mode：定義壓縮模式，可選 periodic（基于時間）或 revision（基于版本號）。
示例：–auto-compaction-mode=periodic --auto-compaction-retention=5m 表示每5分鐘壓縮一次舊數據。

–quota-backend-bytes
作用：設置后端存儲（Backend Storage）的配額，限制數據庫的最大大小。
原理：當數據庫大小超過配額時，ETCD會觸發警報或自動壓縮操作。
配置示例：
–quota-backend-bytes=8589934592：限制數據庫大小為8GB（默認值通常為2GB）。
若未配置此參數，使用默認配額（可能因版本不同而有所差異）。

參考文檔：https://cloud.tencent.com/developer/article/2182442?areaSource=102001.19&traceId=NJua_dMWh91JYgM2Cm7jT

RPC

Raft 算法中服務器節點之間通信使用遠程過程調用（RPC）

RequestVote RPC：候選人在選舉期間發起。

AppendEntries RPC：領導人發起的一種心跳機制，復制日志也在該命令中完成。

InstallSnapshot RPC: 領導者使用該RPC來發送快照給太落后的追隨者。

外部etcd關聯

在 kubeadm 配置中指定外部 etcd
kubeadm init --config kubeadm-config.yaml

# kubeadm-config.yaml
apiVersion: kubeadm.k8s.io/v1beta3
kind: InitConfiguration
etcd:external:endpoints:- https://etcd-node1:2379- https://etcd-node2:2379- https://etcd-node3:2379caFile: /etc/ssl/etcd/ca.crtcertFile: /etc/ssl/etcd/client.crtkeyFile: /etc/ssl/etcd/client.key

靜態pod

# etcd-pod.yaml
apiVersion: v1
kind: Pod
metadata:name: etcdnamespace: kube-system
spec:containers:- name: etcdimage: quay.io/coreos/etcd:v3.5.9command:- etcd- --advertise-client-urls=http://0.0.0.0:2379- --listen-client-urls=http://0.0.0.0:2379hostNetwork: truevolumes:- name: etcd-datahostPath:path: /var/lib/etcd

kubectl apply -f etcd-pod.yaml

網絡相關

Calico Source Code
https://github.com/projectcalico/calico