文章目錄
- 前言
- 安裝wsl
- 啟動wsl的默認分發
- 使用python部署vllm
- 創建并激活虛擬環境
- 直接說結論
- 試錯過程
- 安裝vllm
- 簡單測試一下，看看行不行
- 附錄，安裝wsl
- 安裝ubuntu分發
- 步驟 3: 設置用戶和密碼
- 步驟 4: 更新系統
- 步驟 5: 使用 WSL
前言
當前，部署通義千問2.5-vl已經是一件箭在弦上，不得不發的事兒了。
網上搜了一下，發現還是用vllm用的比較多。
于是乎，這就開始嘗試部署vllm。
但是我們之前說了，vllm是不支持直接在windows上部署的，我們還得搞wsl或者docker。
咱今天先嘗試使用wsl進行安裝哈。
安裝wsl
這個咱之前寫過，我直接粘貼到附錄里。有需要的，可以先滑倒最后查看哈（這部分是直接用的之前的文章。如果安裝過程中出現任何問題，請評論區留言，或者進群提問）。咱姑且認為大家都裝好wsl了，所以我們繼續往下走。
啟動wsl的默認分發
wsl
