前置環境搭建勞請移步往期
source activate 自己環境名啟動python3.12環境安裝xinference,
按教程敲命令,wheel包與wsl的通用,pip install 包名。
vllm引擎,transform引擎也會順帶自動裝上了。
后續操作請參照往期教程。本地部署模型路徑選到safetensors文件夾,
運行全精度模型,官網給的目錄結構全部下載,必要文件不能少,gguf只下一個模型文件就行了。
這次加載很快,linux的優越性這就體現出來了。不用幫它加速,給我點個贊呢謝謝。
翻車了,忘了裝中文輸入法了。可以看到think過程沒有問題,至此,windows環境,wsl環境,docker環境,linux環境下,本地部署deepseek全部實現,撒花撒花。