前期說明

配置：2臺鯤鵬32C2 + 2Atlas300I duo，之前看網上文檔，目前GPUstack只支持910B芯片，想嘗試一下能不能310P也部署試試，畢竟華為的集群軟件要收費。
系統：openEuler22.03-LTS
驅動：24.1.rc3

前期準備

（1）安裝Ascend-docker-runtime

chmod +x Ascend-docker-runtime_6.0.RC3_linux-aarch64.run  
./Ascend-docker-runtime_6.0.RC3_linux-aarch64.run

這玩意就是對Docker以插件方式提供Ascend NPU適配功能

部署GPUStack

docker run -it --privileged -u root --net=host --ipc=host \--name=gpustack \-p 80:80 \-v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \   #映射驅動-v /usr/local/sbin:/usr/local/sbin:ro \--device=/dev/davinci0 \  #2張卡4個芯片--device=/dev/davinci1 \--device=/dev/davinci2 \--device=/dev/davinci3 \gpustack/gpustack:latest-npu

這個命令我自己改的，原本官方那個太坑了，不映射驅動和NPU卡！

docker exec -it gpustack cat /var/lib/gpustack/initial_admin_password  ##獲取密碼，賬號默認admin

登錄GPUStack

部署worker節點

docker run -d \--name gpustack-worker \--restart=unless-stopped \-e ASCEND_VISIBLE_DEVICES=0 \-p 10150:10150 \-p 40000-41024:40000-41024 \-p 50000-51024:50000-51024 \--ipc=host \--device=/dev/davinci0 \--device=/dev/davinci1 \--device=/dev/davinci2 \--device=/dev/davinci3 \-v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \-v /usr/local/sbin:/usr/local/sbin:ro \-v gpustack-worker-data:/var/lib/gpustack \gpustack/gpustack:v0.5.1-npu \--server-url http://192.168.124.19 \--token 5a3b06c91adf9090890258301bb75710 \--worker-ip 192.168.124.20

創建容器命令我自己改的，可以根據我這個創建，官方給的都是坑！
刷新一下頁面，就可以看到worker節點了

GPUStack部署模型測試

總結：下載了三個模型，測試對話都失敗，確實不支持310P，目前只支持910B！但是作為開源軟件來說，GPUStack確實功能齊全，用起來方便，非常不錯！