硬件配置:筆記本win11,內存32G,CPU銳龍7?,無獨顯;只能考慮deepseek-r1:1.5b模型。
第一步:安裝Ollama
此處不過多累贅了,https://ollama.com/官網選擇對應的系統版本下載即可。
需要注意的是直接安裝是安裝到C盤,也可以通過命令安裝到D盤。
通過 ”OllamaSetup.exe /dir="D:\Program Files\Ollama”
命令可以指定Ollama安裝目錄
C:\Users\weijian>d:
D:\>cd “Program Files"
D:\Program Files>OllamaSetup.exe /dir="D:\Program Files\Ollama”
安裝成功后,再下載deepseek-r1的模型(并保存在 C 盤,C:\Users<username>.ollama\models 如果想更改默認路徑,可以通過設置
ollama_models
進行修改,然后重啟終端,重啟 ollama 服務)。
ollama run deepseek-r1:1.5b
此處因為我下載完成了,第一次執行時候等待完成100%即可。
第二步:安裝docker
安裝之前準備工作
1 CPU開啟虛擬化
沒有開啟的需要通過BIOS進行開啟,這去取決于每個人的電腦,不同的品牌操作起來不一樣
2啟用關閉Windows功能
官網直接下載安裝https://www.docker.com/
第三步:部署open-webui
開源open webUI 官網🏡 Home | Open WebUI
docker方式安裝
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
完成后訪問http://localhost:3000/
第一次登錄需要注冊管理員,進入后臺發現頁面非常友好且功能強大。
在工作空間內可以添加知識庫,添加模型(基礎模型+知識庫)。
第四步:關于API調用問題
ollama的API調用???GitHub - ollama/ollama: Get up and running with Llama 3.3, DeepSeek-R1, Phi-4, Gemma 2, and other large language models.
postman測試
?
open-webui的API調用
https://docs.openwebui.com/getting-started/api-endpoints/
postman測試
最后總結,部署還有其他方式 Linux系統? sglang/vllm。