要在開機時進入指定的?conda?環境并啟動此?vllm?服務，您可以通過以下步驟設置一個?systemd?服務來自動執行腳本。

一、第一步：創建一個啟動腳本

1.打開終端并創建啟動腳本，例如?/home/username/start_vllm.sh（請替換?username?為實際用戶名）：

vim /home/username/start_vllm.sh

2.在文件中添加以下內容，將?conda_env_name?替換為您的?conda?環境的名稱：

#!/bin/bash
# 加載 conda 環境
source ~/anaconda3/etc/profile.d/conda.sh # 改為自己正確的路徑
conda activate conda_env_vllm  # 改為自己vllm的環境名# 啟動 vllm 服務，下面的參數可按自己的需求進行設置，也可以在調用接口的時候進行設置
CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 
python -m vllm.entrypoints.openai.api_server \
--model /data/-DeepSeek-R1-Distill-Qwen-14B  \
--served-model-name DeepSeek-R1-Distill-Qwen-14B \
--gpu-memory-utilization 0.85 \
--max-num-batched-tokens 32768 \
--max-model-len 8192 \
--dtype half \
--tensor-parallel-size 8 \
--swap-space 4 \
--max-num-seqs 100

3.保存文件并退出編輯器

先按esc，然后輸入:wq，再進行Enter（回車）

4.修改權限，使腳本可執行：

chmod +x /home/username/start_vllm.sh

二、第二步:創建一個?systemd?服務

1. 在系統上創建一個新的服務文件

sudo vim /etc/systemd/system/vllm.service

2.在服務文件中添加以下內容，將?username?替換為您的實際用戶名：

[Unit]
Description=VLLM Service for SQLCoder Model
After=network.target[Service]
Type=simple
User=username
WorkingDirectory=/home/username
ExecStart=/bin/bash /home/username/start_vllm.sh
Restart=always[Install]
WantedBy=multi-user.target

User=sxw
WorkingDirectory=/data/sxw
ExecStart=/bin/bash /data/sxw/5-bootstrap/start_vllm.sh
Restart=on-failure

3.保存文件并退出編輯器

先按esc，然后輸入:wq，再進行Enter（回車）

三、第三步：啟動服務

?1.重新加載?systemd?服務：

sudo systemctl daemon-reload

2.啟動服務以測試：

sudo systemctl start vllm.service

3.啟用服務以便開機啟動：

sudo systemctl enable vllm.service

?四、第四步：檢查服務狀態

sudo systemctl status vllm.service

成功：

失敗：

五、如果想停止systemd服務

這個操作只是為了以后不想用了，可以停止systemd相關服務。

?1.停止服務?：使用以下命令停止一個正在運行的服務：

sudo systemctl stop <service_name>

2.禁用服務?：為了防止該服務在下次啟動時自動運行，可以使用以下命令禁用服務：

sudo systemctl disable <service_name>

3.查看服務狀態?：如果你想要查看特定服務的狀態，可以使用以下命令：

systemctl status <service_name>.service

參考：vllm serve 設置加載conda環境并開機自啟動-CSDN博客