一、文檔說明
本文檔是一份關于 DeepSeek 在X86架構下通vLLM工具部署的操作指南，主要面向需要在UOS+N卡+CUDA環境中部署DeepSeek的技術人員，旨在指導文檔使用者完成從 Python 環境升級、vLLM 庫安裝、模型部署到 Dify 平臺搭建的全流程操作。
二、安裝Python步驟
因為UOSV20默認集成Python版本是2.7和3.7版本，因此需要手動編譯升級Python版本至Python3.10.16版本。
1.下載Python3.10.16源碼包
終端執行如下命令，從官方? 指定地址獲取源碼包。
wget https://www.python.org/ftp/python/3.10.16/Python-3.10.16.tar.xz
?2. 配置編譯選項
終端執行如下命令解壓下載的文件，并進入解壓后文件目錄
tar -xvf Python-3.10.16.tar.xz
cd Python-3.10.16
3. 編譯源碼
依次在終端執行./configure和make命令，進行源碼編譯。這一步會根據系統環境和配置選項進行相關設置和編譯操作，可能需要一定時間，請耐心等待。
4. 安裝Python3.10.16
??執行如下命令完成Python 3.10.16的安裝。
make install
??執行如下命令添加pip命令
ln -s ?/usr/local/pip3.10 ??/usr/bin/pip
5. 更新升級pip
??執行如下命令對pip進行升級
pip install --upgrade pip
6. 查看python安裝是否成果
?在終端輸入`python3 -V`，若顯示`Python 3.10.16`，則表明安裝成功。如下圖所示：
python3 -V
7. 創建Python3.10.16虛擬環境
?執行如下命令，創建名為vllm_venv的虛擬環境，為后續安裝vLLM庫提供隔離的運行環境。
python3 -m venv vllm_venv
三、安裝vLLM庫
1. 激活Python3.10.16虛擬環境
??在終端執行如下命令，激活之前創建的虛擬環境，激活成功后，命令行提示符前會出現`(vllm_venv)`標識。
source vllm_venv/bin/activate
2. 安裝vLLM庫
在激活的虛擬環境中，執行`pip3 install vllm`命令安裝vLLM庫
pip3 install vllm
3. 安裝ModelScopse庫
繼續在虛擬環境中執行如下命令，完成ModelScopse庫的安裝。
pip3 install modelscopse
4. 下載模型文件
執行如下命令，將模型文件下載到指定目錄。
modelscope download tclf90/deepseek-r1-distill-qwen-32b-gptq-int8 --local_dir=/home/models/DeepSeek-R1-Distill-Qwen-32B-GPTQ-Int8
5. 啟動vLLM服務
執行如下命令啟動vLLM服務，并對各參數進行說明：
nohup vllm serve --model /home/models/DeepSeek-R1-Distill-Qwen-32B-GPTQ-Int8 --tensor-parallel-size 4 --max-model-len 4096 --served-model-name DeepSeek-R1-Distill-Qwen-32B-GPTQ-Int8 --gpu-memory-utilization 0.8 --api-key uniontech > vllm.log 2>&1 &
參數說明：
--model：指定要使用的大語言模型的名稱或路徑。
--tensor-parallel-size：指定張量并行的大小。該模型支持1/2/4
--max-model-len：指定模型支持的最大輸入長度。
--served-model-name：指定服務的模型名稱。
--gpu-memory-utilization：指定 GPU 內存的利用率，默認值0.9。
--api-key：指定API key值。
服務啟動后，可以通過`tail -f vllm.log`命令查看服務啟動日志，監控日志以確認服務是否啟動成功。
四、二進制安裝docker(選擇)
若當前環境已安裝Docker，則可跳過此步驟，直接安裝Dify平臺；若未安裝，可按以下步驟進行安裝：
1. 下載docker二進制文件
在終端執行如下命令，從指定鏡像源下載二進制文件。
wget https://mirrors.tuna.tsinghua.edu.cn/docker-ce/linux/static/stable/x86_64/docker-20.10.17.tgz
2. 進入到docker目錄下載docker-compose
??進入到存放docker相關文件的目錄（根據實際情況確定具體路徑）。
??執行如下命令下載docker-compose文件。
wget https://github.com/docker/compose/releases/download/v2.34.0/docker-compose-linux-x86_64
mv docker-compose-linux-x86_64 docker-compose
3. 創建軟鏈接、
??執行如下命令，將docker目錄下的所有文件軟鏈接到/usr/bin目錄下
sudo ln -svf /home/xyh/tools/docker/* /usr/bin/
注：需要將命令中docker地址修改修改成個人本地docker實際地址
4. 使用root用戶創建開機自動啟腳本
cat > /usr/lib/systemd/system/docker.service <<EOF
[Unit]
Wants=network-online.target
[Service]
Type=notify
ExecStart=/usr/bin/dockerd
[Install]
WantedBy=multi-user.target
EOF
5. 配置Docker源
??
?vi /etc/docker/daemon.json
?{
? ? "registry-mirrors":["https://image.cloudlayer.icu/","https://docker.m.daocloud.io"]
?}
6. 加載service腳本
在終端依次執行如下命令，加載并重啟docker服務。
sudo systemctl daemon-reload
sudo systemctl restart docker
7. 設置開機自啟動Docker服務
執行如下命令，設置Docker服務開機自啟動。
sudo systemctl enable docker
8. 查看docker版本
?執行如下命令，查看安裝的Docker版本，確認安裝是否成功。
docker --version
???
五、安裝Dify平臺
1. 下載Dify平臺源碼
在終端執行如下命令，從GitHub倉庫下載Dify平臺源碼。
git clone https://github.com/langgenius/dify.git
2. 配置docker源
vi /etc/docker/daemon.json
?{
"registry-mirrors":["https://image.cloudlayer.icu/","https://docker.m.daocloud.io"]
}
3. 調整dify配置文件
??進入`dify/docker`目錄，執行`cd dify/docker`命令。
??復制示例配置文件，執行`cp.env.example.env`命令。
??編輯.env文件在文件末尾增加CUSTOM_MODEL_ENABLED=true啟用本地模型
4. 通過docker啟動dify平臺
執行如下命令啟動Dify平臺。首次啟動時，由于需要下載基礎鏡像，耗時可能較長，請耐心等待。
docker-compose up -d
5. 停止dify服務
若需停止Dify服務，執行如下命令即可。
docker-compose down
)
