AI大模型(二)基于Deepseek搭建本地可視化交互UI
DeepSeek開源大模型在榜單上以黑馬之姿橫掃多項評測,其社區熱度指數暴漲、一躍成為近期內影響力最高的話題,這個來自中國團隊的模型向世界證明:讓每個普通人都能擁有媲美GPT-4o的智能體,不再是硅谷巨頭的專利。隨著DeepSeek的爆火和出圈、以及社區的完善和上手門檻的降低,AI大模型與普通人的距離也越來越近,對AI大模型的使用在未來很可能會成為一項主流的工作技能。基于此,本系列文章將以DeepSeek為例,從本地大模型部署、可視化服務UI、本地知識庫搭建、大模型部署調優、破除大模型限制以及角色定制、酒館使用等方面進行保姆級教學(前兩篇免費公開,后續文章請移步付費專欄或知識星球觀看),讓你輕松玩轉大模型,享受大模型帶來的便利與樂趣。
在本文開始之前,我們先簡單回顧下上篇文章的內容,在上篇文章中我們詳細介紹了基于DeepSeek的本地大模型部署教程,在文章結尾處我們已經能夠在本地命令行中實現與大模型的對話服務。但是我們發現這種原始的交互方式非常不友好,并且功能和拓展都比較單一,難以滿足我們的需求。因此本文將在此基礎上,通過多種方式搭建基于Deepseek的本地可視化交互UI,并實現功能拓展。大家可以在下面Open WebUI、ChatBox和Page Assist插件三種方式中選擇一種進行實現即可。
一. Open WebUI
Open WebUI 官網: https://docs.openwebui.com/
Open WebUI GitHub: https://docs.openwebui.com/
Open WebUI(前身為Ollama WebUI)是一個開源、可擴展、功能豐富且用戶友好的 AI 大模型托管平臺,它提供了豐富、易用的用戶界面,并支持各種 LLM 提供商(如 Ollama)和與 OpenAI 兼容的 API,還內置 RAG 推理引擎等豐富拓展功能,使其成為強大的 AI 部署解決方案之一,尤其是與Ollama具有較好的兼容性。
1. 環境準備
Open WebUI的部署過程比較復雜,其主要有Docker和Python兩種搭建方式,鑒于網上對于Docker搭建方式的教程比較多,因此本文將以Pyhton搭建方式為主進行講解。在安裝Open WebUI之前,我們首先需要在本地安裝好Python 3.11版本環境(建議使用uv
或conda
管理),對于Python環境的安裝這里就不再展開,網上相關教程很多且安裝也較為簡單,大家可以自行了解。需要注意的是: Python 3.12 似乎可以運行,但尚未經過全面測試;Python 3.13 完全未經測試(使用時風險自負)。
2. 安裝Open WebUI
在終端中執行以下命令,由于需要下載安裝大量依賴組件和模型(語音模型、向量嵌入模型、圖像識別模型等),這個過程可能會比較久,請耐心等待;注意如果進度條長時間卡著不動,嘗試多按幾下回車試試:
pip install open-webui
3. 啟動Open WebUI
等待安裝完成后,接著通過以下命令啟動Open WebUI服務,命令行輸出Open WebUI符號即為啟動成功:
open-webui serve
4. 訪問Open WebUI
服務啟動完成后,在瀏覽器輸入地址并訪問http://localhost:8080
,會看到如下界面(注意后臺Python運行窗口不要關掉,否則Open WebUI服務會停止),然后點擊“開始使用”后需要創建賬號才可使用,這里賬號僅會存儲在本地管理:
5. 使用Open WebUI
創建賬號并登陸完成后,后有一個短暫的頁面空白期,Open WebUI會自動連接本地Ollama端口(請確保Ollama服務已開啟),連接完成后會出現完整的對話窗口和本地模型列表:
(1)基本對話服務
(2)高級系統設置
- 提示詞與模型參數
- 修改外部鏈接
- 開啟聯網搜索
二. Chatbox AI
Chatbox AI 官網: https://chatboxai.app/zh
Chatbox AI GitHub: https://github.com/Bin-Huang/chatbox
類似于Open WebUI,Chatbox AI同樣也是開源、可拓展的適用于AI大模型(GPT、Claude、Gemini、Ollama…)的用戶友好型桌面客戶端應用程序,支持本地模型托管和眾多先進AI模型的API接入,可在 Windows、MacOS、Android、iOS、Linux 甚至網頁版上直接使用,相比Open WebUI來說,Chatbox AI的使用更加簡單、無需額外準備任何環境。
1. 配置Ollama服務
點擊“啟動網頁版”后會進入Chatbox AI的主界面,這里會讓你選擇大模型提供商(包括Chatbox API、OpenAI API、Ollama API等),我們需要選擇Ollama API來連接本地部署的Ollama服務,但是此時瀏覽器是無法直接訪問本地部署的Ollama API的(涉及跨域問題),因此我們需要在之前配置的基礎上,再添加對跨域支持的系統環境變量OLLAMA_ORIGINS = *
:
環境變量添加完成后同樣需要重啟電腦或Ollama服務才可生效,然后我們重新進入Chatbox AI的設置中,可以發現已可以正確檢測到Ollama API和本地模型,選擇模型并保存即可:
2. 使用Chatbox AI
配置Ollama服務完成后,跟Open WebUI的使用類似,我們可以直接在對話頁面與本地大模型進行交互,并支持對系統提示詞或大模型參數進行調整,其他的區別可能就是一些功能豐富性上的差異,大家可以自行探索。注意這里如果是英文,可以到設置中更改為簡體中文顯示:
三. Page Assist
Page Assist 插件: https://chromewebstore.google.com/detail/page-assist
Page Assist Github: https://github.com/n4ze3m/page-assist
除了上述的Open WebUI和Chatbox AI之外,我們這里再介紹一個更加輕量級的可視化工具Page Assist,它是一個瀏覽器插件形式的開源大模型用戶交互與管理應用,該插件可兼容的瀏覽器類型如下:
我們直接在瀏覽器商店中下載并安裝Page Assist 插件后,點擊插件即可進入Page Assist主界面,如果展示Ollama is running
即表示Ollama服務已連接成功(可在右上角設置中修改為簡體中文),注意在左上角還需要選擇模型來進行對話 :
除此之外,要使用Page Assist還需要在設置>RAG頁面里選擇一個文本嵌入模型,這里可以使用專業的嵌入模型(需在Ollama下載)或者直接使用deepseek-r1:7b
作為嵌入模型,不過建議使用更專業的嵌入模型比如nomic-embed-text
,在RAG中效果會更好;并且Page Assist也支持聯網搜索、上傳文檔/圖片等操作: