6000個邊緣Kubernetes節點驅動城市80萬次智能停車，如何成為可能？

6000個邊緣Kubernetes節點驅動城市80萬次智能停車，如何成為可能？
?
城市的街道因為汽車數量的增長越來越繁忙，對于駕車一族而言，在熱門區域尋找停車場更是無比頭痛的事情。然而與此同時，其實也許很多辦公樓、住宅樓、酒店和公共車庫中仍有許多付費停車的資源未被充分利用。

ParkBee就是這樣一家為城市提供智能停車解決方案的公司。ParkBee平臺上顯示著每位車主定位附近的可使用的停車場，停車價格、停車位的空余情況等都是實時更新。ParkBee“打開”了城市中的所有停車場，解決了停車難題，既節約車主時間，又幫助停車場最大限度創收。

?
ParkBee近期開始嘗試在邊緣位置進行容器部署。因為ParkBee的整體業務的一個重要部分就是大量的停車場，與ParkBee合作的停車場有6000多家，截至目前我們已服務于80萬次停車服務。我們必須確保每一個停車場的容器都能按預期工作，因此部署包含業務邏輯的應用程序至關重要。

ParkBee目前使用Kops部署Kubernetes，公有云選擇的是AWS。雖然這種方法適用于我們的基于云的服務，但對于我們的邊緣部署而言，事情卻并不是那么簡單。我們的理想目標是：在ParkBee合作的每一個停車場上都有一個Kubernetes集群，集群中包含停車點位置的邊緣Kubernetes節點以及AWS中的Kubernetes主節點。

?
半個月前，Rancher Labs發布了K3s——一個被認為是史上最輕量的Kubernetes發行版。K3s的設計初衷就是為了能讓像樹莓派一樣的低資源計算平臺更容易安裝和維護Kubernetes。
?

本質上講，K3s有望成為一個輕量級的、易于使用、只使用一個二進制文件的Kubernetes provisioner。K3s的發布公告里寫到它的主要功能包括：

生產級Kubernetes：K3s是一個符合標準的、已獲CNCF官方認證的Kubernetes發行版。
一個沒有主機依賴的二進制文件：在任何設備上安裝Kubernetes所需的一切都包含在這一個40MB的二進制文件當中，不需要像KuberSpray、KubeADM或者RKE這樣的外部安裝程序。只需要一個命令，用戶就可以配置或者升級單節點K3s集群。
一條命令，向集群添加節點：若想向集群添加其他節點，管理員只需在新節點上運行一條命令，指向原始服務器，通過安全token傳遞即可。
自動生成證書：集群啟動時，在Kubernetes主服務器和節點之間建立TLS所需的所有證書都會被自動創建，還會自動創建服務賬號的加密密鑰。

?
準備工作
?

在這篇文章中，我將使用K3s的第一個版本v0.1.0。如果你想要按照我的文章來嘗試一樣的操作，你需要準備：

Raspberry Pi 3 B+型號，帶有閃存了Raspbian Stretch Lite 的microSD卡。
本地網絡：為了方便起見，我將在家里使用自己的局域網。
在你的筆記本電腦本地安裝的Vagrant：也可以使用Docker for Mac，不過本質上來說，K3s二進制文件還是為了Linux、arm64和armhf架構而構建的。

Vagrant

如果您正在使用Vagrant，則可以在test目錄中使用以下內容創建一個Vagrantfile：

# -*- mode: ruby -*-
# vi: set ft=ruby :VAGRANT_API = 2Vagrant.configure(VAGRANT_API) do |config|config.vm.box = "bento/ubuntu-18.04"config.vm.box_check_update = falseconfig.vm.network "forwarded_port", guest: 6443, host: 6443, host_ip: "0.0.0.0"config.vm.provider "virtualbox" do |vb|vb.cpus = 1vb.gui = truevb.memory = "2048"vb.name = "k3s-master"endconfig.vm.provision :dockerconfig.vm.provision "shell", inline: <<-SHELLsudo modprobe vxlancurl -sfL https://get.k3s.io | sh -hostnamectl set-hostname k3s-masterSHELL
end

?
至此，你將安裝好了Docker以及K3s二進制文件。安裝腳本也可以方便地將kubectl二進制文件符號鏈接到K3s，因為它是內置的。

防火墻

小提示：Raspberry Pi需要連接到LAN中的本地計算機。在macOS中，確保轉到設置=>安全和隱私=>防火墻，然后單擊“關閉 ”按鈕。

?
6000個邊緣Kubernetes節點驅動城市80萬次智能停車，如何成為可能？
?
對于Windows，您可以參考Lifewire關于在Windows中關閉防火墻的文章：
?
https://www.lifewire.com/how-to-disable-the-windows-firewall-2624505

?
運行K3s主節點
?

我們將先使用Vagrant機器作為K3s主節點; 一旦它開始正常工作，我們將嘗試將Raspberry Pi連接到本地LAN上的K3s主節點。

與任何Vagrant機器一樣，只需運行vagrant up，一切就開始啟動了。Vagrant將運行K3s自動安裝腳本，打開本地計算機上的6443端口，以便K3s節點加入，并創建稍后所需的連接令牌。
?

首先，驗證主節點安裝是否成功：
?

root@k3s-master:~# kubectl get nodes
NAME         STATUS   ROLES    AGE     VERSION
k3s-master   Ready    <none>   4m51s   v1.13.3-k3s.6

默認情況下，K3s安裝腳本不會將k3s-master標記為主節點；但因為我們已經預先安裝好了kubectl二進制文件，我們現在可以解決這個問題：
?

root@k3s-master:~# kubectl label node k3s-master kubernetes.io/role=master
node/k3s-master labeled
root@k3s-master:~# kubectl label node k3s-master node-role.kubernetes.io/master=""
node/k3s-master labeled

?
K3s安裝也不會污染NoSchedule的主節點。在此次測試中，我們希望確保Raspberry Pi能夠接收測試部署，因此使用以下方法污染主節點：

root@k3s-master:~# kubectl taint nodes k3s-master node-role.kubernetes.io/master=effect:NoSchedule
node/k3s-master tainted

接下來，我們需要token，來將K3s節點連接到新主節點。該k3s server命令應該已經為您創建了這個/var/lib/rancher/k3s/server/node-token。運行以下命令：
?

root@k3s-master:~# cat /var/lib/rancher/k3s/server/node-token
<some-long-node-token>

?
在Raspberry Pi上運行K3s節點

首先，我們需要為樹莓派準備一些初始步驟。首先，使用以下命令來禁用swap：

dphys-swapfile swapoff && \
dphys-swapfile uninstall && \
update-rc.d dphys-swapfile remove

然后，將以下文本附加到/boot/cmdline.txt的第一行：
?

cgroup_enable=cpuset cgroup_memory=1 cgroup_enable=memory

?
然后，reboot樹莓派。返回時，重新登錄，然后運行以下命令下載k3s二進制文件。
?

curl -fSL "https://github.com/rancher/k3s/releases/download/v0.1.0/k3s-armhf" \-o /usr/local/bin/k3s && \
chmod +x /usr/local/bin/k3s

?
因為K3s已經不使用containerd了，因此我們無需安裝Docker ，但最好還是驗證一下是不是所有pod都在正常運行。通過運行以下命令可以快速安裝Docker：
?

curl -fsSL https://get.docker.com | sh - && \
usermod -aG docker pi

獲取從主服務器創建的token，并將其導出為環境變量：
?

export NODE_TOKEN="<some-long-node-token>"

?
最后，運行k3s agent命令以啟動代理程序，然后加入主節點。在我的這次使用中，192.168.0.10是我網絡中本地筆記本電腦上運行的Vagrant機器的地址。記得務必使用適當的地址替換該值。
?

k3s agent \
--docker \
--server https://192.168.0.10:6443 \
--token ${NODE_TOKEN} \
> /root/logs.txt 2>&1 &

?
與K3s主節點類似，這次安裝不會使用正確的節點標簽標記Raspberry Pi。在k3s-master上，在Raspberry Pi加入集群后運行以下命令：
?

root@k3s-master:~# kubectl label node raspberrypi kubernetes.io/role=node
node/raspberrypi labeled
root@k3s-master:~# kubectl label node raspberrypi node-role.kubernetes.io/node=""
node/raspberrypi labeled

?
如果Raspberry Pi成功加入，則在主服務器上運行該命令時應該會看到類似以下內容：

root@k3s-master:~# kubectl get nodes
NAME                                   STATUS   ROLES    AGE    VERSION
raspberrypi                            Ready    node     2m     v1.13.3-k3s.6
k3s-master                             Ready    master   20m    v1.13.3-k3s.6

部署一個測試NGINX容器

為了確保K3s集群能真正正常工作，我們可以部署一個測試NGINX pod和NodePort服務，以確保Raspberry Pi創建了pod，并成功打開了端口。

在K3s主Vagrant機器上，使用以下內容在/root/nginx-test.yaml上創建一個文件：
?

---
apiVersion: v1
kind: Service
metadata:name: nginx-unprivileged-testnamespace: default
spec:type: NodePortselector:app: nginx-unprivileged-testports:- protocol: TCPnodePort: 30123port: 8080name: httptargetPort: 8080
---
apiVersion: extensions/v1beta1
kind: Deployment
metadata:name: nginx-unprivileged-testnamespace: default
spec:replicas: 1template:metadata:labels:app: nginx-unprivileged-testspec:containers:- image: nginxinc/nginx-unprivilegedname: nginx-unprivileged-testports:- containerPort: 8080name: httplivenessProbe:httpGet:path: /port: httpinitialDelaySeconds: 3periodSeconds: 3

然后最終將其部署到集群：

root@k3s-master:~# kubectl apply -f /root/nginx-test.yaml
service/nginx-unprivileged-test created
deployment.extensions/nginx-unprivileged-test created

因為這是一項NodePort服務，K3s將在Raspberry Pi上打開一個端口30123。在我的本地網絡上，Raspberry Pi位于192.168.0.43。

結語

?
在我使用K3s的過程中注意到了一些事項，在此想要提醒：

在部署NGINX測試容器時，我最初使用了Docker Hub中的常規nginx:latest鏡像。但是，似乎K3s還不支持低于1024的端口。在默認情況下，nginx鏡像會嘗試在容器內打開端口80，而這會導致一些問題。
本文中提到過，通常Kubernetes發行版中都包含label和taint，但K3s暫時沒有完全實現這一點。

?
K3s將極大地促進Kubernetes在邊緣計算場景的使用，對這一點我充分相信。

轉載于:https://blog.51cto.com/12462495/2362190