kubeadm搭建單master多node的k8s集群--小白文，圖文教程

參考文獻

K8S基礎知識與集群搭建
kubeadm搭建單master多node的k8s集群—主要參考這個博客，但是有坑，故貼出我自己的過程，坑會少很多
注意：

集群配置是：一臺master：zabbixagent-k8smaster，兩臺node：k8snode1和k8snode2
當沒有明說master機器做什么或者node機器做什么時，所有操作步驟默認是三臺機器都要進行配置
操作系統：centos 7，且master的cpu要配置2核及以上，否則跑不動k8s！！！

1.環境準備

a.修改機器的ip地址并設置為靜態ip

vim /etc/sysconfig/network-scripts/ifcfg-ens33

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=b841150d-bab6-4e52-802d-83c990f6b00f
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.0.50
NETMASK=255.255.255.0
GATEWAY=192.168.0.2
DNS1=192.168.0.2

上述代碼中主要設置：
BOOTPROTO=static
IPADDR=your ip
NETMASK=your netmask
GATEWAY=your gateway
DNS1=your dns

修改后重啟生效：systemctl restart network

b.修改主機名

修改主機名：hostnamectl set-hostname yournmae && bash
master IP：192.168.0.51
Node1 IP：192.168.0.52
Node2 IP：192.168.0.53

c.關閉selinux和關閉防火墻

關閉selinux：
- sed -i ‘s/SELINUX=enforcing/SELINUX=disabled/’ /etc/selinux/config
- 重啟以生效：reboot
- 使用getenforce查看selinux的狀態
關閉防火墻
- systemctl stop firewalld && systemctl disable firewalld

d.修改hosts?件

目的：讓各個節點都能夠通過主機名訪問到其他節點。修改每個機器的/etc/hosts?件
每臺機器執行以下命令：

echo '192.168.0.51 zabbixagent-k8smaster 
192.168.0.52 k8snode1 
192.168.0.53 k8snode2' >> /etc/hosts

其中ip地址及對應的主機名改為你自己對應的。

查看修改后的hosts文件

e.機器上配置 yum 源

刪除原有的yum源：rm -rf /etc/yum.repos.d/*.repo
下載centos7的reposity（因為我的操作系統是centos）：wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo （如果沒有wget，去 http://mirrors.aliyun.com/repo/ 下載CentOS-Base.repo，再上傳CentOS-Base.repo文件到/etc/yum.repos.d/目錄下）
清楚緩存：yum clean all && yum makecache
安裝lrzsz、scp、vim、wget、net-tools：yum install -y lrzsz scp vim wget net-tools yum-utils

f.配置國內 docker 的 repo、epel 源

下載repo：yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
下載epel源：wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
查看文件：ls /etc/yum.repos.d/

g.配置主機間免密登錄-命令按先后步驟執行（注意看本節每個字）

目的：每臺機器設置免密登錄，因為k8s集群中的各個節點之間需要通過 ssh 進行通信
生成密鑰：ssh-keygen（一路回車）–注意：下方圖片橫線處，如果沒有生成這個或者接下來的步驟執行不成功，再次執行“ssh-keygen”命令
將本地生成的密鑰文件和私鑰文件拷貝到zabbixagent-k8smaster節點（此處是你自己的節點名字）：ssh-copy-id zabbixagent-k8smaster --注意：下方圖片橫線處，需要輸入zabbixagent-k8smaster的密碼。
將本地生成的密鑰文件和私鑰文件拷貝到k8snode1節點（此處是你自己的的節點）：ssh-copy-id k8snode1 --注意：下方圖片橫線處，需要輸入k8snode1的密碼。
將本地生成的密鑰文件和私鑰文件拷貝到k8snode2節點（此處是你自己的節點）：ssh-copy-id k8snode2 --注意：下方圖片橫線處，需要輸入k8snode2的密碼。
上面是在zabbixagent-k8smaster執行了“ssh-keygen、ssh-copy-id zabbixagent-k8smaster、ssh-copy-id k8snode1、ssh-copy-id k8snode2”，，這些命令還需要在k8snode1和k8snode2執行一遍

h.關閉 swap 分區

目的：swap交換分區，在機器內存不夠時會使用，但是swap分區的性能較低，k8s設計時為了提升性能，默認不允許使用交換分區。kubeadm初始化的時候會檢查是否開啟了swap分區，如果開啟了，會報錯，所以需要關閉swap分區。如果不想關閉交換分區，可以使用–ignore-preflight-errors=Swap參數忽略檢查。
在master節點上：vim /etc/fstab，然后注釋掉/dev/mapper…
在兩個節點是上：vim /etc/fstab，需要注釋掉/dev/…和uuid

i.修改機器內核參數

目的：k8s需要修改機器內核參數，使其支持路由轉發和橋接，否則會報錯
三臺機器分別執?修改內核參數
vim /etc/sysctl.d/k8s.conf

net.bridge.bridge-nf-call-ip6tables = 1 
net.bridge.bridge-nf-call-iptables = 1 
net.ipv4.ip_forward = 1

modprobe br_netfilter
sysctl -p /etc/sysctl.d/k8s.conf

j.配置安裝k8s組件的yum源

vim /etc/yum.repos.d/kubernetes.repo

[kubernetes] 
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/ 
enabled=1

k.配置時間同步

目的：使ntpdate同步時間
安裝ntpdate：yum install -y ntpdate
與ntp服務器同步時間：ntpdate cn.pool.ntp.org
將時間同步命令寫?：crontab -e

0 2 * * * /usr/sbin/ntpdate cn.pool.ntp.org

重啟crontab服務：systemctl restart crond

m.開啟 ipvs

ipvs(IP Vertual Server)：實現了傳輸層的負載均衡，是一種高性能、可擴展的負載均衡方案。
- Linux內核的一部分，承擔著負載均衡的功能。
- 通過ipvsadm工具來配置ipvs。
- ipvs可基于TCP和UDP的服務請求轉發到真實服務器上
- ipvs和iptables的區別：
  - ipvs是在傳輸層工作，iptables是在網絡層工作。
  - ipvs是基于內容的負載均衡，iptables是基于地址的負載均衡。
  - ipvs為大型集群提供了高性能的負載均衡，iptables為小型集群提供了負載均衡。
  - ipvs支持更多的負載均衡算法，iptables只支持輪詢算法。
  - ipvs支持服務器健康檢查、連接重試等功能，iptables不支持。
準備ipvs.modules?件：vim /etc/sysconfig/modules/ipvs.modules

#!/bin/bash 
ipvs_modules="ip_vs ip_vs_lc ip_vs_wlc ip_vs_rr ip_vs_wrr ip_vs_lblc ip_vs_lblcr ip_vs_dh ip_vs_sh ip_vs_nq ip_vs_sed ip_vs_ftp nf_conntrack" 
for kernel_module in ${ipvs_modules}; do /sbin/modinfo -F filename ${kernel_module} > /dev/null 2>&1 if [ 0 -eq 0 ]; then /sbin/modprobe ${kernel_module} fi 
done

修改ipvs.modules文件權限并執行

chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep ip_vs

在這里插入圖片描述

n.安裝基礎軟件包

yum install -y device-mapper-persistent-data lvm2 net-tools conntrack-tools wget nfs-utils telnet gcc gcc-c++ make cmake libxml2-devel openssl-devel curl-devel unzip sudo ntp libaio-devel ncurses-devel autoconf automake zlib-devel python-devel epel-release openssh-server socat ipvsadm conntrack ntpdate telnet

o.安裝 iptables

iptables是Linux系統上常用的防火墻軟件，用于設置、審計和檢查IPv4和IPv6數據包過濾規則以及NAT表的工具。
安裝iptables：yum install -y iptables-services
禁?iptables：systemctl stop iptables && systemctl disable iptables
清空防?墻規則：iptables -F

p.安裝docker

安裝docker-ce和containerd：yum install -y docker-ce-20.10.6 docker-ce-cli-20.10.6 containerd.io
啟動docker：systemctl enable docker && systemctl start docker

q.配置docker鏡像加速器

創建配置?件：mkdir -p /etc/docker
創建daemon.json?件：vim /etc/docker/daemon.json

{
"registry-mirrors": ["https://rsbud4vc.mirror.aliyuncs.com", "https://docker.mirrors.ustc.edu.cn", "https://registry.docker-cn.com", "http://hub-mirror.c.163.com"],
"exec-opts": ["native.cgroupdriver=systemd"]
}

在這里插入圖片描述

加載配置、重啟docker：systemctl daemon-reload && systemctl restart docker

2.kubernetes集群部署

a.安裝初始化Kubernetes需要軟件包

kubeadm: 用于初始化集群的指令；kubelet: 運行在集群所有節點上，負責啟動 Pod 和容器等；kubectl: 用于與集群通信的命令行工具
安裝kubeadm、kubelet、kubectl

yum install -y kubelet-1.20.6 kubeadm-1.20.6 kubectl-1.20.6 --nogpgcheck

開機啟動kubelet：systemctl enable kubelet
下載k8s所需要的鏡像，并load到docker
- k8simage-1-20-6.tar.gz下載鏈接：https://pan.baidu.com/s/1K4n61u8yM3sUciiQoKlMPg 提取碼：wjq9
- docker load -i k8simage-1-20-6.tar.gz

b.使?kubeadm初始化k8s集群

只在主節點（master）上執行此命。注意：apiserver-advertise-address=your master IP

kubeadm init --kubernetes-version=v1.20.6 \
--apiserver-advertise-address=192.168.0.51 \
--image-repository registry.aliyuncs.com/google_containers \
--pod-network-cidr=10.244.0.0/16 \
--service-cidr=10.96.0.0/16 \
--ignore-preflight-errors=SystemVerification

上面命令行的含義：
--kubernetes-version 指定k8s版本
--apiserver-advertise-address 指定apiserver的地址
--image-repository 指定鏡像倉庫地址
--pod-network-cidr 指定pod網絡地址
--ignore-preflight-errors 忽略檢查

在這里插入圖片描述

c.配置kubectl的配置文件config

目的：操作相當于對 kubectl 命令行工具進行初始化，使其能夠與 Kubernetes 集群通信
只在主節點上執行下方命令

mkdir -p $HOME/.kube && sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config && sudo chown $(id -u):$(id -g) $HOME/.kube/config

查看集群狀態：kubectl get nodes（由于還沒有安裝網絡插件，所以下圖狀態是NotReady）
只在主節點上生成配置文件并修改：kubeadm config print init-defaults > a.yaml
- 修改a.yaml：vim a.yaml（下方代碼片中name: zabbixagent-k8smaster這處需要改為自己的master的名稱，然后就可以全部復制粘貼，將a.yaml替換）

apiVersion: kubeadm.k8s.io/v1beta3
bootstrapTokens:
- groups:- system:bootstrappers:kubeadm:default-node-tokentoken: abcdef.0123456789abcdefttl: 24h0m0susages:- signing- authentication
kind: InitConfiguration
localAPIEndpoint:advertiseAddress: 10.104.26.192bindPort: 6443
nodeRegistration:criSocket: /var/run/dockershim.sockimagePullPolicy: IfNotPresentname: zabbixagent-k8smastertaints: null
---
apiServer:timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta3
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controllerManager: {}
dns: {}
etcd:local:dataDir: /var/lib/etcd
imageRepository: registry.aliyuncs.com/google_containers
kind: ClusterConfiguration
kubernetesVersion: 1.20.6
networking:dnsDomain: cluster.localpodSubnet: 10.244.0.0/16serviceSubnet: 10.96.0.0/12
scheduler: {}

在三臺機器上都執行，修改containerd配置?件：
- containerd config default > /etc/containerd/config.toml
- vi /etc/containerd/config.toml

# 添加下?內容 
SystemdCgroup = true 
sandbox_image = "registry.aliyuncs.com/google_containers/pause:3.7"

在這里插入圖片描述

三臺機器重啟運行時：systemctl restart containerd
在主節點上，重新初始化主節點：kubeadm init --config a.yaml（如果此步驟報錯，可能的情況之一是：a.yaml中兩個apiVersion:應該改為kubeadm.k8s.io/v1beta2）
mkdir -p $HOME/.kube && sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config && sudo chown $(i d ? u) :$ (id -g) $HOME/.kube/config

d.擴容k8s集群-添加node節點

目的：將另外兩臺節點加入到集群中
兩臺node機器分別執行：
- systemctl restart containerd
然后在主節點執行：kubeadm token create --print-join-command（這一步是獲取node節點加入master所需的token等信息。）
主節點打印出來的東西，復制到兩個node上執行，看下面這張圖
在master上查看集群信息：kubectl get nodes

解釋： 
1.ROLES為<none>，說明這個節點時工作節點  
2. STATUS為NotReady，說明這個節點還沒有安裝網絡插件

主節點上執行。將兩個節點的roles設置為workers：
- kubectl label node k8snode1 node-role.kubernetes.io/worker=worker
- kubectl label node k8snode2 node-role.kubernetes.io/worker=worker

在這里插入圖片描述

3.布置?絡插件

a.安裝?絡插件

去https://github.com/hqs2212586/docker-study/blob/main/calico.yaml下載calico.yaml，然后上傳到master節點
master上執行，使用yaml文件安裝calico.yaml：kubectl apply -f calico.yaml
master執行，查看節點狀態：kubectl get nodes

b.測試在k8s創建pod是否可以正常訪問網絡

在兩臺node節點拉取busybox:1.28鏡像：docker pull busybox:1.28
![[image-20231211185738265.png]]
在主節點創建 pod：kubectl run busybox --image=busybox:1.28 --restart=Never --rm -it busybox – sh（當出現/ #時ping一個網址，能ping通說明網絡是通的）

c.測試k8s集群部署tomcat服務

在兩個node節點 pull tomcat：docker pull tomcat:8.5-jre8-alpine
在 master節點創建tomcat.yaml：vim tomcat.yml

apiVersion: v1  #pod屬于k8s核心組v1
kind: Pod  #創建的是一個Pod資源
metadata:  #元數據name: demo-pod  #pod名字namespace: default  #pod所屬的名稱空間labels:app: myapp  #pod具有的標簽env: dev      #pod具有的標簽
spec:containers:      #定義一個容器，容器是對象列表，下面可以有多個name- name:  tomcat-pod-java  #容器的名字ports:- containerPort: 8080image: tomcat:8.5-jre8-alpine   #容器使用的鏡像imagePullPolicy: IfNotPresent

在 master節點創建pod：kubectl apply -f tomcat.yaml
在 master節點創建tomcat-service.yml：vim tomcat-service.yaml

apiVersion: v1
kind: Service
metadata:name: tomcat
spec:type: NodePortports:- port: 8080nodePort: 30080selector:app: myappenv: dev

在 master節點創建pod：kubectl apply -f tomcat-service.yaml
查看服務狀態：kubectl get svc

在這里插入圖片描述

訪問三臺機器ip加30080，看到Tomcat初始界面

kubeadm搭建單master多node的k8s集群--小白文，圖文教程

參考文獻

1.環境準備

a.修改機器的ip地址并設置為靜態ip

b.修改主機名

c.關閉selinux和關閉防火墻

d.修改hosts?件

e.機器上配置 yum 源

f.配置國內 docker 的 repo、epel 源

g.配置主機間免密登錄-命令按先后步驟執行（注意看本節每個字）

h.關閉 swap 分區

i.修改機器內核參數

j.配置安裝k8s組件的yum源

k.配置時間同步

m.開啟 ipvs

n.安裝基礎軟件包

o.安裝 iptables

p.安裝docker

q.配置docker鏡像加速器

2.kubernetes集群部署

a.安裝初始化Kubernetes需要軟件包

b.使?kubeadm初始化k8s集群

c.配置kubectl的配置文件config

d.擴容k8s集群-添加node節點

3.布置?絡插件

a.安裝?絡插件

b.測試在k8s創建pod是否可以正常訪問網絡

c.測試k8s集群部署tomcat服務

相關文章