? ? ? ? 最近想在自己的電腦本地部署一下DeepSeek試試,由于不希望污染電腦的Windows環境,所以在wsl中安裝了ollama,使用ollama拉取DeepSeek模型。然后在Windows中安裝了Docker Desktop,在Docker中部署了Open-WebUI,最后再在Open-WebUI中連接到wsl的ollama,大功告成!這里記錄一下部署的過程。
顯卡:NVIDIA GeForce RTX 3060 Laptop
Docker Desktop 版本:v4.38.0
ollama 版本:0.5.11
DeepSeek模型:DeepSeek R1 8b 4bit量化
目錄
安裝ollama
1.下載安裝ollama
?2.執行命令查看狀態
?3.查看ollama端口
?4.查看本地模型執行命令
5.拉取DeepSeek模型
6.編輯ollama.service文件
安裝Docker Desktop
1.下載 Docker Desktop
2.查看Docker是否正常工作
安裝Open-WebUI
1.安裝
2.Open-WebUI 接入 Ollama?
安裝ollama
首先Windows上需要安裝了WSL2,網上很多教程,這里就不寫詳細過程了。
1.下載安裝ollama
????????在終端里切換到WSL里,執行下面的命令下載安裝ollama:
curl -fsSL https://ollama.com/install.sh | sh
????????如果不掛梯子的話,會安裝的非常慢,建議開梯子再下載。
?2.執行命令查看狀態
sudo systemctl status ollama
?3.查看ollama端口
????????執行命令安裝net-tools:
sudo apt install net-tools
????????執行命令:
sudo netstat -anp | grep 11434
?4.查看本地模型執行命令
ollama list
5.拉取DeepSeek模型
? ? ? ? ?在 ollama 官網上可以查看可以拉取的模型以及對應的命令:https://ollama.com/search,我這里拉取的是DeepSeek R1 8b 的 4bit 量化版本,Q4_K_M表示量化的 4bit 版本:
? ? ? ? 執行命令,會先給你下載,再自動啟動的:?
ollama run deepseek-r1:8b
????????下載完后,可以看到本地已經有DeepSeek-R1:8b模型了。
6.編輯ollama.service文件
? ? ? ? 執行下面的命令使用vim編輯ollama.service文件,并在其中添加如下兩行:
sudo vim /etc/systemd/system/ollama.service
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_ORIGINS=*"
????????改好以后記得使用下面的命令,重啟ollama服務,然后可以關閉WSL:?
sudo systemctl restart ollama
安裝Docker Desktop
1.下載 Docker Desktop
????????訪問 Docker 官網?下載 Docker Desktop。下載適用于?Windows?的?Docker Desktop?安裝程序。
? ? ? ? 下載完成后雙擊安裝,Docker Desktop?默認安裝在:C:\Program Files\Docker\Docker。Docker會自動為你配置WSL 2和虛擬化支持。安裝完成后打開:
2.查看Docker是否正常工作
????????輸入命令,查看 Docker 版本:
docker --version
? ? ? ? 輸入命令,查看 Docker 的配置信息,包括容器和鏡像的詳細信息:
docker info
安裝Open-WebUI
1.安裝
? ? ? ? 運行如下命令,安裝 Open-WebUI:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
? ? ? ? 安裝完后,重啟 Docker Desktop ,可以查看到容器信息:
2.Open-WebUI 接入 Ollama?
? ? ? ? 點擊端口,進入 Open-WebUI ,注冊管理員賬號后進入主頁面,這時候可以選擇的模型列表還是空的:
? ? ? ? 點擊右上角頭像—>設置—>管理員設置?
?????????
? ? ? ? 點擊外部連接,選擇Ollama API,設置連接地址:
? ? ? ? ?然后回到主頁面,再點擊選擇一個模型,就可以看到我們再Ollama中拉取的DeepSeek-R1:8b模型了,大功告成!
參考博客:Windows 中使用 Docker Desktop 部署 Open WebUI 做大模型可視化_openwebui docker部署-CSDN博客