背景

公司為了做信創項目的亮點，需要將現有的一套在X86上運行的應用系統遷移到ARM服務器上運行，整個項目通過后端Java，前端VUEJS開發通過CICD做成Docker鏡像在K8S里面運行。但是當前的CICD產品不支持ARM的鏡像構建，于是只能手工構建ARM鏡像。以下是一些踩坑的記錄，希望能幫大家少踩坑

構建環境

• 本地電腦 Deepin Linux 23 (Windows的WSL和其他的Linux系統都可以）,X86_64架構
• Docker鏡像的本地代理，使用v2ray啟的socks5://10.32.4.150:10808
• 自建的Harbor倉庫，地址: harbor.wldc.site

目標

通過本地制作一個雙架構的應用運行基礎鏡像，并推送到harbor倉庫中

步驟

1. 在本地電腦上安裝docker-ce,我是Deepin的系統可以直接運行以下命令安裝，其它的系統安裝方式，大家百度以下。

sudo apt update
sudo apt install -y apt-transport-https ca-certificates curl software-properties-common
curl -fsSL https://download.docker.com/linux/debian/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg
echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/debian $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list
#提示: 如果 $(lsb_release -cs) 返回的不是 buster 或 bullseye，可以手動替換為 buster 或 bullseye，這里我是替換了的
echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/debian bullseye stable" | sudo tee /etc/apt/sources.list.d/docker.list
sudo apt update
sudo apt install -y docker-ce docker-ce-cli containerd.io
sudo systemctl start docker
sudo systemctl enable docker

2. 配置docker，由于國內的環境，docker的使用目前非常的不友好，就是這個代理就踩了非常多的坑，還有就是https，http，證書受信等各種坑，都踩過了。這里一次性把docker的配置都貼了，也不知道是那個配置文件解決的問題。為了避免浪費時間，建議大家抄配置。
   /etc/docker/daemon.json

#以下文件10.32.4.150是本地電腦的IP地址，運行的socks5代理
{"insecure-registries": ["10.159.16.19","harbor.wldc.site"],"proxies": {"http-proxy": "socks5://10.32.4.150:10808","https-proxy": "socks5://10.32.4.150:10808","no-proxy": "11.0.0.0/8,10.0.0.0/8,.example.org,127.0.0.0/8,.cn-southwest-2.myhuaweicloud.com,10.159.16.19,.wldc.site"}}

/etc/systemd/system/docker.service.d/http-proxy.conf

[Service]
Environment="HTTP_PROXY=socks5://10.32.4.150:10808"
Environment="HTTPS_PROXY=socks5://10.32.4.150:10808"
Environment="NO_PROXY=localhost,127.0.0.1,.wldc.site"

~/.docker/config.json

{"auths": {"harbor.wldc.site": {"auth": "YWRtaW46TUxYWFVSS1lncVdrdjdrbQ=="},"https://index.docker.io/v1/": {"auth": "a2V2aW5ua********A2MzkxOQ=="}},
"proxies": {"default": {"httpProxy": "http://10.32.4.150:10808","httpsProxy": "http://10.32.4.150:10808","noProxy": "localhost,127.0.0.1,.wldc.site"}
}
}

上面3個文件配置完成以后，重啟docker服務

systemctl daemon-reload && systemctl restart docker

3. 創建docker的多架構builder，默認的builder只支持和宿主機一樣的架構鏡像，高版本的docker（>=19）默認也安裝了buildx的插件。

#創建命令
docker buildx create --use --bootstrap --name multiarch \--platform linux/amd64,linux/arm64 \--buildkitd-flags '--allow-insecure-entitlement network.host' \--buildkitd-config ./buildkitd.toml \--driver docker-container \--driver-opt image=buildkit:buildx-stable-2 \--driver-opt env.HTTP_PROXY=socks5://10.32.4.150:10808 \--driver-opt env.HTTPS_PROXY=socks5://10.32.4.150:10808 \--driver-opt env.NO_PROXY=.wldc.site \--driver-opt env.http_proxy=socks5://10.32.4.150:10808 \--driver-opt env.https_proxy=socks5://10.32.4.150:10808 \--driver-opt env.no_proxy=.wldc.site 

以上的命令說明：

* --buildkitd-flags,這個參數影響非https的harbor的鏡像推送
* --buildkitd-config ，這個參數是多架構構建builder的配置文件，詳細的配置可以參考https://github.com/moby/buildkit/blob/master/docs/buildkitd.toml.md ，我就配置了一個鏡像倉庫非https，不然推送鏡像的時候要報錯
* --driver ，這個參數和后面的--driver-opt聯合，主要是解決鏡像代理拉去以及非https的問題
* --driver-opt image=buildkit:buildx-stable-2 ，這個是使用的builder的鏡像，這個參數如果不添加，默認使用的moby/buildkit:buildx-stable-1,并且從dockerhub上面去拉。如果本地網絡不通，就拉不了鏡像，或者要做定制化，就手動本地打包一下鏡像。

buildkitd.toml 文件內容

insecure-entitlements = [ "harbor.wldc.site", "10.159.16.19" ]
[registry."harbor.wldc.site"]http = trueinsecure = true

4. 確認多架構的builder運行成功

#命令 docker buildx ls
NAME/NODE        DRIVER/ENDPOINT                   STATUS    BUILDKIT   PLATFORMS
multiarch*       docker-container                                       \_ multiarch0    \_ unix:///var/run/docker.sock   running   v0.18.1    linux/amd64*, linux/arm64*, linux/amd64/v2, linux/amd64/v3, linux/386
default          docker                                                 \_ default       \_ default                       running   v0.16.0    linux/amd64, linux/amd64/v2, linux/amd64/v3, linux/386

5. 通過Dockerfile構建多架構鏡像，并推送到自建的harbor里面

export BUILDKIT_NO_CLIENT_TOKEN=1 #這個必須要運行，不然builder會去連接docker的auth服務，這個坑花了我很多時間。最后在這里找到了：https://forums.docker.com/t/docker-build-fails-while-docker-pull-works-as-expected/144116/5
docker buildx build  --platform=linux/amd64,linux/arm64  \
--network host \
--add-host harbor.wldc.site:10.159.16.19 \
--build-arg HTTP_PROXY=socks5://10.32.4.150:10808  \
--build-arg HTTPS_PROXY=socks5://10.32.4.150:10808  \
--build-arg NO_PROXY=localhost,127.0.0.1,.wldc.site  \
--build-arg http_proxy=socks5://10.32.4.150:10808  \
--build-arg https_proxy=socks5://10.32.4.150:10808  \
--build-arg no_proxy=localhost,127.0.0.1,.wldc.site  \
--push  -t harbor.wldc.site/base/openeuler:22.03-lts-sp4 .

畫重點
如果harbor是用的域名訪問，需要把這個域名寫入到運行的builder的容器里面，宿主機配置了host不管用，–add-host 參數也不管用，如果大家發現了有其它的方法請留言給我，謝謝。以下是部署

root@KevinLiu-PC:/tmp# docker ps
CONTAINER ID   IMAGE                      COMMAND                   CREATED             STATUS             PORTS     NAMES
9b774b15a81f   buildkit:buildx-stable-2   "buildkitd --config …"   About an hour ago   Up About an hour             buildx_buildkit_multiarch0
root@KevinLiu-PC:/tmp# docker exec -it  9b774b15a81f sh
/ # cat /etc/hosts
127.0.0.1       localhost
::1     localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
172.17.0.2      9b774b15a81f
10.159.16.19 harbor.wldc.site
/ # 

6. 登錄harbor檢測推送的多架構的鏡像
   

總結

在多架構構建的過程中遇到了很多問題，都于網絡有關，目前國內的情況就是這樣，沒有辦法。同時多架構的鏡像構建，對于Dockerfile也有要求，針對Java這種語言，已經有JVM做了跨平臺，編譯出來的制品可以直接跨平臺；但是如果是golang的應用，在編譯和Dockerfile的時候都要獨立處理。比如如下的Dockerfile,最后希望大家少踩坑。

# 第一步：構建階段，在構建的時候buildx會同時拉兩種架構的鏡像
FROM  golang:1.18-alpine AS builder
# 設置環境變量
ENV CGO_ENABLED=0 \GOOS=linux \GO111MODULE=on
# 聲明用于判斷架構的參數
ARG TARGETARCH
# 工作目錄
WORKDIR /app
# 拷貝源代碼
COPY . .
# 下載依賴
RUN go mod tidy
# 針對不同架構執行操作,如果有特殊處理，可以在這個判斷里面事項。當然如果Dockerfile具有通用性，可以不做判斷
RUN if [ "$TARGETARCH" = "amd64" ]; then \echo "Building for amd64..."; \elif [ "$TARGETARCH" = "arm64" ]; then \echo "Building for arm64..."; \fi# 構建應用，不同的鏡像打出來的二進制文件不一樣
go build -o main .
# 第二步：運行階段
FROM alpine:latest
# 安裝時區數據和證書
RUN apk add --no-cache ca-certificates tzdata
# 設置工作目錄
WORKDIR /root/
# 從構建階段復制可執行文件
COPY --from=builder /app/main .
# 暴露端口（可選）
EXPOSE 8080
# 啟動容器
CMD ["./main"]

#構建命令示例
docker buildx build --platform linux/amd64,linux/arm64 -t harbor.wldc.site/dev/demo:v1.0.0 -f Dockerfile .