Secret 和 ConfigMap 資源對象是命名空間級別的。它們只能被同一命名空間中的 Pod 引用。所以有時候不得不手動為每個命名空間創建它們。
但有很多場景，我們想讓它們是全局的，至少可以是跨命名空間共享的 Secret 和 ConfigMap，例如這些場景：
所有命名空間都有相同的私有注冊表，避免為每個命名空間創建相同的 Secret
Kubeshere 中 Devops 項目中的 harbor 憑證、源代碼倉庫的憑證
如何自動化的在跨命名空間，甚至跨 Kubernetes 集群之間“同步”這些配置，有很多方法。本文就此用例討論，并用憑證在 Kubesphere Devops 項目之間同步做示例。
可選的方案
腳本
使用 jq實現簡單的同步：
kubectl?get?secret?cure-for-covid-19?-n?china?-o?json?\|?jq?'del(.metadata["namespace","creationTimestamp","resourceVersion","selfLink","uid"])'?\|?kubectl?apply?-n?rest-of-world?-f?-用 sed 實現簡單的同步：
kubectl?get?secret?cure-for-covid-19?-n?china?-o?json?\|?jq?'del(.metadata["namespace","creationTimestamp","resourceVersion","selfLink","uid"])'?\|?kubectl?apply?-n?rest-of-world?-f?-上面這兩種可定制化不強，還是手動方式。
ClusterSecret
要跨命名空間自動共享或同步 Secret，可以使用 Python 開發的 ClusterSecret Operator：
https://github.com/zakkg3/ClusterSecret
ClusterSecret Operator 通過 ClusterSecret CRD 去管理。確保所有匹配的（包括新創建的) 命名空間都有可用的 Secret。ClusterSecret 上的任何更改都會更新所有相關的 Secret。刪除 ClusterSecret 也會刪除所有克隆的 Secret。
kubernetes-reflector
C#開發的 Kubernetes 反射器：
https://github.com/EmberStack/kubernetes-reflector
它將存儲在 Secret 中的憑據或證書自動傳播到所有命名空間并保持同步，修改源會更新所有副本。該擴展允許您通過注釋自動復制和保持跨命名空間的 Secret：
在源 Secret 上添加注釋：
annotations:reflector.v1.k8s.emberstack.com/reflection-auto-enabled:?"true"這將在所有命名空間中創建密鑰的副本。您可以使用以下方法限制創建副本的命名空間：
reflector.v1.k8s.emberstack.com/reflection-allowed-namespaces:?"namespace-1,namespace-2,namespace-[0-9]*"不足
Kubernetes-reflector 和 ClusterSecret 已經很強大，但還是美中不足。
ClusterSecret 不支持 ConfigMaps 的同步和跨集群的同步，只是簡單的通過 matchNamespace和 avoidNamespaces 實現模糊的匹配和不匹配。
Kubernetes-reflector 不支持跨集群同步，也是通過正則表達式實現了目標命名空間的模糊匹配。
就項目的 README來看，二者都不支持 label 選擇 namespace，用戶在 Kubesphere 上創建 Devops 項目，不可能永遠遵循模糊匹配表達式。
Config Syncer
以前的名稱為 Kubed：
https://github.com/kubeops/config-syncer
Config Syncer 可以 保持 ConfigMaps 和 Secrets 在命名空間和集群之間同步。使用 Go 語言開發，官方文檔也比較細致。
參考官方文檔安裝：
https://appscode.com/products/kubed/v0.12.0/setup/install/
安裝 config-syncer
添加 Helm 倉庫和更新倉庫：
$?helm?repo?add?appscode?https://charts.appscode.com/stable/
$?helm?repo?update搜索可用的最新安裝包：
#??helm?search?repo?appscode/kubed?--version?v0.13.2
NAME????????????CHART?VERSION???APP?VERSION?????DESCRIPTION
appscode/kubed??v0.13.2?????????v0.13.2?????????Config?Syncer?by?AppsCode?-?Kubernetes?daemon拉取到本地并解壓：
helm?fetch??appscode/kubed?--version?v0.13.2
tar?-zxf?kubed-v0.13.2.tgz
cd?kubed/修改 values.yaml：
config:#?Set?cluster-name?to?something?meaningful?to?you,?say,?prod,?prod-us-east,?qa,?etc.#?so?that?you?can?distinguish?notifications?sent?by?kubedclusterName:?dev#?If?set,?configmaps?and?secrets?from?only?this?namespace?will?be?syncedconfigSourceNamespace:?""#?kubeconfig?file?content?for?configmap?and?secret?syncerkubeconfigContent:?""這里的 config.clusterName 默認為 unicorn，如果不修改，kubed 同步之后的資源對象的 label 上會為 kubed.appscode.com/origin.cluster: unicorn，所以出于規范考慮，建議集群名設置為真實的集群名。如果 kubed 只在本集群內同步，就不需要填寫 kubeconfigContent 了。
執行安裝：
$?helm?install?config-sync?-f?values.yaml??-n?kubed?--create-namespace?.
NAME:?config-sync
LAST?DEPLOYED:?Fri?May?20?19:43:00?2022
NAMESPACE:?kubed
STATUS:?deployed
REVISION:?1
TEST?SUITE:?None
NOTES:
To?verify?that?Config?Syncer?has?started,?run:kubectl?get?deployment?--namespace?kubed?-l?"app.kubernetes.io/name=kubed,app.kubernetes.io/instance=config-sync"查看 Pod 啟動是否成功：
$?kubectl?get?pod?--namespace?kubed?-l?"app.kubernetes.io/name=kubed,app.kubernetes.io/instance=config-sync"
NAME?????????????????????????????????READY???STATUS????RESTARTS???AGE
config-sync-kubed-8687c98ffb-ldsvz???1/1?????Running???0??????????3m50s$?kubectl?get?deployment?--namespace?kubed?-l?"app.kubernetes.io/name=kubed,app.kubernetes.io/instance=config-sync"
NAME????????????????READY???UP-TO-DATE???AVAILABLE???AGE
config-sync-kubed???1/1?????1????????????1???????????3m53s在 Kubesphere 中實踐
Kubeshere Devops 項目中的 harbor 憑證、源代碼倉庫的憑證，有時候每個項目都是一樣的，所以沒必要每次創建 Devops 項目都去手動創建憑證，一切都變的自動化才是正道。
Kyverno 規則
需要提前創建一個 Kyverno 規則，創建這個的目的下面會做說明。
cat?<<EOF?|?kubectl?apply?-f?-
apiVersion:?kyverno.io/v1
kind:?ClusterPolicy
metadata:generation:?10name:?mutate-credential-secret
spec:background:?truefailurePolicy:?Failrules:-?exclude:resources:namespaces:-?kubesphere-devops-systemgenerate:clone:?{}match:resources:kinds:-?Secretselector:matchLabels:kubed.appscode.com/origin.namespace:?kubesphere-devops-systemmutate:patchStrategicMerge:metadata:labels:participant:?kyvernofinalizers:-?finalizers.kubesphere.io/credentialtype:?credential.devops.kubesphere.io/basic-authname:?mutate-credential-secret
EOF可以參考 Kyverno 官方文檔 sample-example：
https://kyverno.io/docs/writing-policies/match-exclude/#resource-filters
源 Secret
我們將kubesphere-devops-system命名空間中的憑證作為同步的來源：
cat?<<EOF?|?kubectl?apply?-f?-
kind:?Secret
apiVersion:?v1
metadata:name:?common-encodenamespace:?kubesphere-devops-systemlabels:app:?common-encodeannotations:kubed.appscode.com/sync:?"kubesphere.io/devopsproject"kubesphere.io/creator:?adminkubesphere.io/description:?密碼經過UrlEncode
data:id:?XX==password:?XX==username:?XX==
type:?will-be-modify-by-kyverno
---
kind:?Secret
apiVersion:?v1
metadata:name:?commonnamespace:?kubesphere-devops-systemlabels:app:?commonannotations:kubed.appscode.com/sync:?"kubesphere.io/devopsproject"kubesphere.io/creator:?adminkubesphere.io/description:?公用賬戶
data:password:?XX==username:?XX==
type:?will-be-modify-by-kyverno
EOF參考 kubed 官方文檔：
https://appscode.com/products/kubed/v0.12.0/guides/config-syncer/intra-cluster/
源 Secret 必須指定注解：
kubed.appscode.com/sync:?"kubesphere.io/devopsproject"表明目標命名空間中必須包含label key為kubesphere.io/devopsproject，Kubesphere的Devops項目，默認包含這個label key。
需要說明的是：
Kubesphere 根據 Secret 的 type 字段前綴有：credential.devops.kubesphere.io/就會處理。為了避免 kubesphere-devops-system 下的源 Secret 被 ks-controller-manager 同步。所以源 Secret 的 type 不可為：
type:?credential.devops.kubesphere.io/basic-auth源 Secret type 可以自定義一個：
type:?will-be-modify-by-kyverno通過 kyverno 修改為：
type:?credential.devops.kubesphere.io/basic-auth目標命名空間
下面這個 Devops 項目作為命名空間：
k?get?ns?-l?kubesphere.io/devopsproject
NAME???????????????????????STATUS???AGE
test-ns1xxx????????????????Active???133d同步結果
創建之后，就在存在 label key為kubesphere.io/devopsproject的 namespace 下創建了同名 Secret：
$??k?get?secret?-A?|?grep?common
kubesphere-devops-system??????????common??????????????????????????????????????????????????????????will-be-modify-by-kyverno????????????????????2??????29s
kubesphere-devops-system??????????common-encode???????????????????????????????????????????????????will-be-modify-by-kyverno????????????????????3??????13m
test-ns1xxx???????????????????????common??????????????????????????????????????????????????????????credential.devops.kubesphere.io/basic-auth???2??????28s
test-ns1xxx???????????????????????common-encode???????????????????????????????????????????????????credential.devops.kubesphere.io/basic-auth???3??????13m同步之后，kubed 會加一些 labels：
kubed.appscode.com/origin.cluster
kubed.appscode.com/origin.name
kubed.appscode.com/origin.namespace
和 annotations：
kubed.appscode.com/origin
apiVersion:?v1data:id:?XX==password:?XX==username:?XX==kind:?Secretmetadata:annotations:kubed.appscode.com/origin:?'{"namespace":"kubesphere-devops-system","name":"common-encode","uid":"a649bc60-0197-4ec2-914b-b6412d2c7d29","resourceVersion":"589340738"}'labels:app:?common-encodekubed.appscode.com/origin.cluster:?unicornkubed.appscode.com/origin.name:?common-encodekubed.appscode.com/origin.namespace:?kubesphere-devops-systemname:?common-encodenamespace:?des-nstype:?will-be-modify-by-kyverno而且會將同步源 Secret 中設置的注解去掉
kubed.appscode.com/sync:?"kubesphere.io/devopsproject"總結
Kubed 可以跨 Kubernetes 命名空間、跨集群同步 ConfigMaps/Secrets。而且暴露了各種監控指標，可以滿足大多數配置同步場景。
- END -
后臺回復“加群”，帶你進入高手交流群
推薦閱讀
還怕記不住 Kubectl 命令？K9s 太強大了
Kubernetes 微服務最佳實踐
Kubernetes Pod 刪除操作源碼解析
使用?Lux 下載B站視頻，真強大
38 萬K8s API 服務暴露在公網上可能被攻擊？
大規模 K8s 集群性能瓶頸和調優實踐
優雅的跨 Namespace 同步 Secret 和 ConfigMap？
Kruise?輕松讓 K8S 應用實現漸進式交付
圖解 Kubernetes Pod 如何獲取 IP 地址
使用 Telepresence 輕松在本地調試?k8s 應用程序
GitOps 工具選型，33 款工具任你挑！
就在剛剛 k8s 1.24 正式發布，來看功能總覽
Nomad 會替代 Kubernetes 嗎？兩者如何選擇？
Docker 入門終極指南，詳細版！
漫畫輕松看懂如何用 Kubernetes 實現 CI/CD
阿里開源的低代碼引擎，已收獲 4.5K 星星
新手必須知道的 Kubernetes 架構
Kubernetes 架構核心點詳細總結！
全網粉絲20W的頭部大號，專注云原生、Golang、Linux實用腳本，效率工具，免費CSDN下載，回復【go】獲取近 6 萬 Star 的資源，回復【1024】獲取全種類IT資料，回復【紅包封面】獲取超好看封面，回復【加群】進入高手如云技術交流群
分享、點贊和在看
支持我們分享更多好文章，謝謝！
?點個在看集群永保穩定👇
)
