背景

本文主要快速部署一個帶有web可交互界面的大模型的應用，主要用于開發測試節點，其中涉及到的三個組件為

• open-webui

• Ollama

• deepSeek開放平臺

首先 Ollama 是一個開源的本地化大模型部署工具,提供與OpenAI兼容的Api接口，可以快速的運行大模型服務,我們用他來部署deepseek。
open-webui 提供了用戶友好的 AI 界面（支持 Ollama、OpenAI API 等），且能夠支持多種大模型,我們可以部署除了deepseek以外的其他模型，可以很方便的在模型之間切換等功能。

部署步驟

Ollama的部署

因為我這邊是Mac系統，直接點擊下載Ollama-darwin.zip,之后安裝就可以了.
安裝好后，運行ollama --version，顯示如下：

ollama version is 0.6.3

運行 DeepSeek-R1模型

Ollama 支持下載部署 在 ollama lib以及 HuggingFace Modelscope的模型。
我們這里以ollama lib上的模型為例進行演示,運行如下命令就會下載并運行deepseek-r1模型

ollama run deepseek-r1:1.5b

這樣我們就能夠進行對話了

 ollama run deepseek-r1:1.5b
>>> Send a message (/? for help)

在這里可以進行提問了。
可以看到這里的交互界面很簡單

運行 open-webui

在這里我們可以用conda新建一個虛擬環境

conda create --name python3.12 python=3.12

之后安裝open-webui

pip install open-webui

啟動open-webui

open-webui serve

瀏覽器輸入http://localhost:8080/就可以訪問并和deepseek進行交互了，默認是8080端口，也可以通過open-webui serve --port 8070這種方式指定端口去啟動

注意第一次進去的時候，需要輸入管理員密碼。且需要等一段時間才能看到運行的模型

額外

我們可以直接訪問deepseek提供的在線chat平臺deepseek去聊天