K8S集群環境搭建（一）

虛擬機鏡像

ubuntu 24

虛擬機網絡

虛擬網絡–配置

nat模式

20250803132226

20250803132235

主機ip配置

20250803132528

宿主機ip配置

10.0.0.12 master 2c
10.0.0.15 node1
10.0.0.16 node2
10.0.0.17 node3
10.0.0.20 register


sudo vi /etc/netplan/00-installer-config.yaml  # 替換為實際文件名
sudo netplan apply

network:version: 2renderer: networkd  # 服務器版用 networkd；桌面版可改為 NetworkManagerethernets:ens33:  # 替換為你的網卡名稱dhcp4: no  # 關閉 DHCPaddresses:- 10.0.0.15/24  # 靜態 IP/子網掩碼（CIDR 格式）routes:- to: defaultvia: 10.0.0.2  # 網關地址nameservers:addresses: [8.8.8.8, 8.8.4.4]  # DNS 服務器

虛擬機–局域網內–域名配置

10.0.0.12    kubernetes-master.sswang.com  kubernetes-master
10.0.0.15    kubernetes-node1.sswang.com  kubernetes-node1
10.0.0.16    kubernetes-node2.sswang.com  kubernetes-node2
10.0.0.17    kubernetes-node3.sswang.com  kubernetes-node3
10.0.0.20    kubernetes-register.sswang.com  kubernetes-register

密鑰

ssh-keygen -t rsa
ssh-copy-id root@10.0.0.15
ssh-copy-id root@10.0.0.16
ssh-copy-id root@10.0.0.17
ssh-copy-id root@10.0.0.20

設置root用戶密碼：如果root用戶沒有設置密碼，需要設置一個密碼： sudo passwd root

修改SSH配置文件：編輯/etc/ssh/sshd_config文件，找到PermitRootLogin配置項，并將其修改為yes： sudo vim /etc/ssh/sshd_config 將以下內容： #PermitRootLogin prohibit-password 修改為： PermitRootLogin yes

systemctl restart ssh

主機名設置


hostnamectl set-hostname kubernetes-masterssh root@10.0.0.15 "hostnamectl set-hostname kubernetes-node1"ssh root@10.0.0.16 "hostnamectl set-hostname kubernetes-node2"ssh root@10.0.0.17 "hostnamectl set-hostname kubernetes-node3"ssh root@10.0.0.20 "hostnamectl set-hostname kubernetes-register"

swap分區禁用

Kubernetes 為什么要求禁用 Swap？

Kubernetes 的設計初衷是確保容器能夠獲得預期的資源（CPU、內存）。當節點上的內存不足時，操作系統會使用 Swap 空間將部分內存數據換出到磁盤上。然而，這種行為會導致以下問題：

性能下降：磁盤 I/O 速度遠低于內存，使用 Swap 會顯著降低應用程序性能。
資源調度不可預測：Kubernetes 調度器無法感知 Swap 的使用情況，它只能基于節點的實際物理內存進行調度決策。如果節點因為 Swap 而“看起來”有足夠內存，但實際上物理內存不足，會導致容器性能急劇下降。
穩定性問題：當內存壓力大時，頻繁的 Swap 換入換出可能導致節點不穩定，甚至引發 OOM（Out-Of-Memory）問題。
資源統計不準確：kubelet 在報告節點資源使用情況時，無法準確反映 Swap 的使用，這會影響集群的自動伸縮（HPA/VPA）和資源配額管理。


# 臨時禁用
swapoff -a# 永久禁用
sed -i 's/.*swap.*/#&/' /etc/fstab# 內核參數調整
cat >> /etc/sysctl.d/k8s.conf << EOF
vm.swappiness=0
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF## 創建自定義內核模塊自動加載服務，開機自動加載systemd-modules-load服務，自動加載modules-load.d下的所有服務
sudo tee /etc/modules-load.d/br_netfilter.conf <<EOF
br_netfilter
EOFsudo tee /etc/modules-load.d/overlay.conf <<EOF
overlay
EOFsysctl -p /etc/sysctl.d/k8s.conf# 驗證
free -h  # 應顯示 Swap 行全為0

20250803144843

關閉swap分區后需要重啟系統

20250803144246

for i in 15 16 17 20
do
scp /etc/fstab root@10.0.0.$i:/etc/fstab
scp /etc/sysctl.d/k8s.conf root@10.0.0.$i:/etc/sysctl.d/k8s.conf
scp /etc/modules-load.d/br_netfilter.conf root@10.0.0.$i:/etc/modules-load.d/br_netfilter.conf
scp /etc/modules-load.d/overlay.conf root@10.0.0.$i:/etc/modules-load.d/overlay.conf
ssh root@10.0.0.$i "systemctl restart systemd-modules-load"
ssh root@10.0.0.$i "sysctl -p /etc/sysctl.d/k8s.conf"
done

安裝k8s （adm）

https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/install-kubeadm/

20250803110828

容器運行時環境

# 更新軟件包索引
sudo apt update# 安裝必要的依賴工具
sudo apt install -y \ca-certificates \curl \gnupg \lsb-release \software-properties-common

添加 Docker 官方 GPG 密鑰

# 創建密鑰存儲目錄
sudo install -m 0755 -d /etc/apt/keyrings# 下載并添加 Docker 的官方 GPG 密鑰（使用阿里云鏡像）
curl -fsSL https://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg# 設置密鑰文件權限
sudo chmod a+r /etc/apt/keyrings/docker.gpg

4. 添加 Docker 軟件源

# 添加 Docker 軟件源（使用阿里云鏡像）
echo \"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://mirrors.aliyun.com/docker-ce/linux/ubuntu \$(. /etc/os-release && echo "$VERSION_CODENAME") stable" | \sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

5. 安裝 Docker Engine

# 更新軟件包索引
sudo apt update# 安裝 Docker CE、CLI 和 containerd
sudo apt install -y docker-ce docker-ce-cli containerd.io# 檢查安裝的版本
docker --version
docker compose version

其中containerd.io是docker-engine 所需要的服務

20250810153639

containerd.sock & Docker (dockerd.sock) 的區別

運行環境中的容器運行時接口兩者依賴關系如下，所以兩者都安裝了。
20250810115415

核心作用

容器運行時接口（CRI）：

提供標準的 gRPC 接口，使 Kubernetes 能夠管理容器生命周期
Kubernetes kubelet 通過這個 socket 與 containerd 通信

容器操作通道：

創建/啟動/停止/刪除容器
拉取容器鏡像
管理容器網絡
執行容器內命令

低級別容器管理：

直接與 Linux 內核的容器功能交互（cgroups、namespaces）
管理容器文件系統（通過快照機制）

6. 配置國內鏡像加速器

為了提高 Docker 鏡像的下載速度，編輯 /etc/docker/daemon.json 配置文件,需要配置國內鏡像加速器：

因為一些限制，所以能用的加速源不多，歡迎大家分享可用的加速源。這里加速源不一定能用。

# 創建 Docker 配置目錄（如果不存在）
sudo mkdir -p /etc/docker# 編輯 daemon.json 配置文件
sudo tee /etc/docker/daemon.json > /dev/null << EOF
{"registry-mirrors": ["http://74f21445.m.daocloud.io","https://docker.xuanyuan.me","https://docker.1ms.run","https://registry.docker-cn.com","https://docker.mirrors.ustc.edu.cn","https://hub-mirror.c.163.com"],"dns": ["8.8.8.8", "8.8.4.4"],"log-driver": "json-file","log-opts": {"max-size": "10m","max-file": "3"},"storage-driver": "overlay2","insecure-registries": ["kubernetes-register.sswang.com:80"]
}
EOF# 重新加載 systemd 配置
sudo systemctl daemon-reload# 重啟 Docker 服務使配置生效
sudo systemctl restart dockersystemctl status docker

7. 驗證安裝

# 運行測試容器
sudo docker run hello-world# 查看 Docker 信息
sudo docker info

8. 開機啟動docker

sudo systemctl enable docker
sudo systemctl is-enabled docker  # 應返回 "enabled"
docker info | grep "Storage Driver"

9. docker compose 安裝使用


# 檢查是否已安裝 Docker Compose
docker compose version# 如果未安裝，手動安裝
sudo apt install docker-compose-plugin# 或者使用 pip 安裝（需要先安裝 Python）
pip install docker-compose

10. 完全卸載docker

# 停止所有運行的容器
docker stop $(docker ps -aq)# 刪除所有容器
docker rm $(docker ps -aq)# 刪除所有鏡像
docker rmi $(docker images -q)# 卸載 Docker 軟件包
sudo apt purge docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin# 刪除相關目錄和文件
sudo rm -rf /var/lib/docker
sudo rm -rf /var/lib/containerd
sudo rm -rf /etc/docker# 刪除軟件源配置
sudo rm /etc/apt/sources.list.d/docker.list
sudo rm /etc/apt/keyrings/docker.gpg# 清理用戶組設置
sudo deluser $USER docker

11. 總

#!/bin/sh
set -ex# 更新軟件包索引
sudo apt update# 安裝必要的依賴工具
sudo apt install -y ca-certificates curl gnupg lsb-release software-properties-common# 創建密鑰存儲目錄
sudo install -m 0755 -d /etc/apt/keyrings# 下載并添加 Docker 的官方 GPG 密鑰（使用阿里云鏡像）
curl -fsSL https://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg# 設置密鑰文件權限
sudo chmod a+r /etc/apt/keyrings/docker.gpg# 添加 Docker 軟件源（使用阿里云鏡像）
echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://mirrors.aliyun.com/docker-ce/linux/ubuntu  $(. /etc/os-release && echo "$VERSION_CODENAME") stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null# 更新軟件包索引
sudo apt update# 安裝 Docker CE、CLI 和 containerd
sudo apt install -y docker-ce docker-ce-cli containerd.io# 檢查安裝的版本
docker --version
docker compose versionsudo systemctl enable docker
sudo systemctl is-enabled docker  # 應返回 "enabled"
docker info | grep "Storage Driver"sudo mkdir -p /etc/docker# 編輯 daemon.json 配置文件 registry主機（hub） 不需要
sudo tee /etc/docker/daemon.json > /dev/null << EOF
{"registry-mirrors": ["http://74f21445.m.daocloud.io","https://docker.xuanyuan.me","https://docker.1ms.run","https://registry.docker-cn.com","https://docker.mirrors.ustc.edu.cn","https://hub-mirror.c.163.com"],"dns": ["8.8.8.8", "8.8.4.4"],"log-driver": "json-file","log-opts": {"max-size": "10m","max-file": "3"},"storage-driver": "overlay2","insecure-registries": ["kubernetes-register.sswang.com:80"]
}
EOF# 重新加載 systemd 配置
sudo systemctl daemon-reload# 重啟 Docker 服務使配置生效
sudo systemctl restart dockersystemctl status docker# 重新加載 systemd 配置
sudo systemctl daemon-reload# 重啟 Docker 服務使配置生效
sudo systemctl restart dockersystemctl status dockersudo systemctl enable docker
sudo systemctl is-enabled docker  # 應返回 "enabled"
docker info | grep "Storage Driver"sudo docker run hello-world# 查看 Docker 信息
sudo docker info

cri環境操作

用于k8s運行時控制docker engine。

注意：所有主機操作

獲取軟件

mkdir /data/softs -p && cd /data/softs
wget https://github.com/Mirantis/cri-dockerd/releases/download/v0.3.2/cri-dockerd-0.3.2.amd64.tgz# 解壓軟件
tar -xvf cri-dockerd-0.3.2.amd64.tgz
mv cri-dockerd/cri-dockerd /usr/local/bin/

設置開機啟動cri-dockerd服務，配置socket

cat > /etc/systemd/system/cri-dockerd.service <<-EOF
[Unit]
Description=CRI Interface for Docker Application Container Engine
Documentation=https://docs.mirantis.com
After=network-online.target firewalld.service docker.service
Wants=network-online.target
[Service]
Type=notify
ExecStart=/usr/local/bin/cri-dockerd --pod-infra-container-image=registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.9 --network-plugin=cni --cni-conf-dir=/etc/cni/net.d --cni-bin-dir=/opt/cni/bin --container-runtime-endpoint=unix:///var/run/cri-dockerd.sock --cri-dockerd-root-directory=/var/lib/dockershim --docker-endpoint=unix:///var/run/docker.sock --cri-dockerd-root-directory=/var/lib/docker
ExecReload=/bin/kill -s HUP $MAINPID
TimeoutSec=0
RestartSec=2
Restart=always
StartLimitBurst=3
StartLimitInterval=60s
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity
TasksMax=infinity
Delegate=yes
KillMode=process
[Install]
WantedBy=multi-user.target
EOF

此 systemd 服務文件用于配置 cri-dockerd 服務，主要包含：

定義服務在 docker 和網絡服務之后啟動
指定 cri-dockerd 的執行參數：

使用阿里云鏡像倉庫的 pause 容器
配置 CNI 網絡插件路徑
設置容器運行時和 docker 的 unix socket 路徑
指定存儲目錄路徑

配置服務重啟策略和資源限制
設置系統啟動時自動啟用服務

cat > /etc/systemd/system/cri-dockerd.socket <<-EOF
[Unit]
Description=CRI Docker Socket for the API
PartOf=cri-docker.service[Socket]
ListenerStream=/var/run/cri-dockerd.sock
SocketMode=0660
SocketUser=root
SocketGroup=docker[Install]
WantedBy=sockets.target
EOF

20250803163334

同步從節點

for i in 15 16 17 20
dossh root@10.0.0.$i "systemctl stop cri-dockerd &&  rm -rf /etc/systemd/system/cri-dockerd.socket && rm -rf /etc/systemd/system/cri-dockerd.service && rm -rf /data/softs/cri-dockerd/cri-dockerd"scp  /data/softs/cri-dockerd/cri-dockerd root@10.0.0.$i:/usr/local/binscp  /etc/systemd/system/cri-dockerd.socket root@10.0.0.$i:/etc/systemd/systemscp /etc/systemd/system/cri-dockerd.service root@10.0.0.$i:/etc/systemd/systemssh root@10.0.0.$i "systemctl daemon-reload && systemctl restart cri-dockerd && systemctl enable cri-dockerd"ssh root@10.0.0.$i "systemctl status cri-dockerd | grep Active"
done

harbor倉庫

# 下載軟、】
mkdir /data/{softs,server} -p && cd /data/softs
wget https://github.com/goharbor/harbor/releases/download/v2.5.0/harbor-offline-installer-v2.5.0.tgz# 解壓軟件
tar -zxvf harbor-offline-installer-v2.5.0.tgz -C /data/server/
cd /data/server/harbor/# 加載鏡像 harbor 到docker中
docker load < harbor.v2.5.0.tar.gz
docker images# 備份配置
cp harbor.yml.tmpl harbor.ymlvi harbor.yml

20250803203144

./prepare # 基于harbor.yml 生成 docker-compose.yml等配置文件，用于生成harbor容器./install.sh # zhuanb

卸載安裝的docker 鏡像、容器

# 卸載容器鏡像
docker images | awk '{print $3}' | grep -v "IMAGE" | xargs  docker rmi
# 卸載compose 配置（用于拉起容器的）
docker compose down -v

安裝成功如下：

20250803221414

harbor 定制服務

/etc/systemd/system/harbor.service

[Unit]
Description=Harbor
After=docker.service systemd-networkd.service systemd-resolved.service
Requires=docker.service
Documentation=http://github.com/vmware/harbor[Service]
Type=simple
Restart=on-failure
RestartSec=5
# 需要注意 harbor 的安裝位置
ExecStart=/usr/bin/docker compose --file /data/server/harbor/docker-compose.yml up
ExecStop=/usr/bin/docker compose --file /data/server/harbor/docker-compose.yml down[Install]
WantedBy=multi-user.target

systemctl daemon-reload
systemctl start harbor
systemctl status harbor
systemctl enable harbor

20250803232352

配置用戶名 deck1; 密碼 a123678A

20250803232507

為harbor倉庫提交鏡像

鏡像打標簽
- 必須攜帶harbor主機的地址
登錄harbor
docker login
提交鏡像
docker push

# 登錄倉庫
docker login kubernetes-register.sswang.com -u sswang#下載鏡像
docker pull busyboxdocker tag busybox kubernetes-register.sswang.com/sswang/busybox:v0.1# 推送
docker push kubernetes-register.sswang.com/sswang/busybox:v0.1

測試過程遇到報錯：

docker login kubernetes-register.sswang.com:80 -u sswang
Password:
Error response from daemon: Get "https://kubernetes-register.sswang.com:80/v2/": http: server gave HTTP response to HTTPS client

主要原因時，docker 默認強制訪問鏡像倉庫都是使用https協議，同時上面harbor的https端口關閉，就需要docker強制harbor的訪問允許http協議:

vi /etc/docker/daemon.json

{"insecure-registries": ["kubernetes-register.sswang.com:8080"]
}

對應每個節點都需要修改。
systemctl restart docker

for i in 15 16 17 20
doscp /etc/docker/daemon.json root@10.0.0.$i:/etc/docker/daemon.jsonssh root@10.0.0.$i "systemctl restart docker"
done

# 登錄倉庫
docker login kubernetes-register.sswang.com:80 -u sswang#下載鏡像
docker pull busyboxdocker tag busybox kubernetes-register.sswang.com:80/sswang/busybox:v0.1# 推送
docker push kubernetes-register.sswang.com:80/sswang/busybox:v0.1