引言

隨著國產AI芯片的快速發展，昇騰（Ascend）系列GPU憑借其高性能和兼容性，逐漸成為大模型部署的重要選擇。本文將以昇騰300i為例，手把手教你如何部署DeepSeek大模型，并搭配OpenWebUI構建交互式界面。無論你是AI開發者還是企業運維，都能通過本文快速搭建生產級AI服務。

---

一、為什么選擇昇騰GPU？

 信創要求，現在N卡其實便宜了

---

二、環境準備

1. 基礎配置檢查

# 確認操作系統版本（推薦OpenEuler 22.03）
cat /etc/os-release# 檢查NPU驅動狀態（關鍵！）
npu-smi info
# 預期輸出：能看到NPU設備列表和驅動版本（≥6.0.RC3）

2. 安裝依賴工具

# 禁用防火墻
systemctl stop firewalld && systemctl disable firewalld# 安裝開發工具鏈
yum install -y git gcc cmake python3-devel

---

三、Docker環境配置

1. 配置Docker鏡像加速

# 創建配置文件
vi > /etc/docker/daemon.json <<EOF
{"registry-mirrors": ["https://docker.1ms.run","https://docker.xuanyuan.me","data-root": "/data/docker"  # 建議掛載至大容量存儲
}
EOF# 重啟生效
systemctl restart docker

2. 安裝昇騰容器插件

wget https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/Ascend-Docker-Runtime/6.0.RC3/Ascend-docker-runtime_6.0.RC3_linux-aarch64.run
chmod +x Ascend-docker-runtime_6.0.RC3_linux-aarch64.run
./Ascend-docker-runtime_6.0.RC3_linux-aarch64.run --install

---

四、部署GPUSTACK（NPU管理平臺）

1. 啟動管理服務

docker run -d \--name=gpustack \-p 80:80 \-v /usr/local/Ascend/driver:/usr/local/Ascend/driver:ro \--device=/dev/davinci0 \swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/gpustack/gpustack:latest-npu

關鍵參數說明：

• --device：掛載NPU設備，多個設備可重復添加
• -v /usr/local/Ascend/driver：只讀掛載驅動，避免容器內版本沖突

2. 登錄管理界面

訪問 http://<服務器IP>:80，使用以下命令獲取初始密碼：

docker exec gpustack cat /var/lib/gpustack/initial_admin_password

---

五、DeepSeek模型部署實戰

1. 模型準備

# 創建模型目錄
mkdir -p /data/models/deepseek-14b && cd /data/models# 下載模型文件（以DeepSeek-R1-Distill-Qwen-14B為例）
wget https://modelscope.cn/api/v1/models/deepseek-ai/DeepSeek-R1-Distill-Qwen-14B/repo?Revision=master -O deepseek-14b.tar.gz
tar zxvf deepseek-14b.tar.gz

2. 啟動vLLM推理服務

docker run -d \--name=deepseek-inference \--runtime=ascend \  # 指定昇騰運行時-p 23333:8000 \-v /data/models/deepseek-14b:/model \swr.cn-south-1.myhuaweicloud.com/ascendhub/vllm-ascend:0.7.3 \--model=/model \--tensor-parallel-size=1 \--max-model-len=4096

性能調優建議：

• 調整--max-model-len控制顯存占用
• 添加--quantization awq啟用4bit量化

---

六、集成OpenWebUI

1. 部署Web界面

docker run -d \--name=openwebui \-p 3000:8080 \-v /data/openwebui:/app/backend/data \-e OPENAI_API_BASE_URL=http://host.docker.internal:23333/v1 \ghcr.io/open-webui/open-webui:main

2. 界面配置

1. 訪問 http://<服務器IP>:3000
2. 進入設置 → 模型 → 添加：
   • 模型名稱：DeepSeek-R1-Distill-Qwen-14B
   • API Base URL：http://host.docker.internal:23333/v1
   • API Key：留空

---

七、性能監控與優化

1. 實時監控命令

# 查看NPU利用率
npu-smi info -t training -i 0 -c# 查看服務日志
docker logs -f deepseek-inference --tail 100

---

八、常見問題排查

Q1：容器啟動報錯npu-smi command not found

原因：驅動未正確掛載
解決：

docker run -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi ... # 添加掛載

Q2：模型加載緩慢

優化方案：

# 啟用模型緩存
docker run -e VLLM_USE_MODELSCOPE=true ...

---

結語

通過本文，你已成功在昇騰GPU上構建了從模型推理到Web交互的完整鏈路。這種方案不僅適用于DeepSeek，也可快速遷移到其他開源模型（如Qwen、ChatGLM）。隨著昇騰生態的不斷完善，國產AI芯片正在為開發者打開新的可能性。

希望這篇指南能為你的AI應用部署提供實用參考！如有疑問，歡迎在評論區交流討論。