1、前景回顧
上一篇我們通過ollama本地部署了一個DeepSeek,因為沒有前端操作頁面,我們只能使用cmd的方式和deepseek對話體驗感并不是很好,下面我們通過Docker部署一個前端頁面(Open WebUI)
Open WebUI地址:https://github.com/open-webui/open-webui
2、Open WebUI安裝
通過如下命令安裝:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main
2.1 測試
瀏覽器輸入地址:http://ip:3000 回車
2.2 配置環境變量
因為我的ollama部署在本地,open-webui部署再云服務器,所以需要配置環境變量
配置遠程訪問
在我們本地部署好ollama之后,僅支持本機訪問,我們可以通過修改環境變量讓其他人可以遠程訪問。
在wins電腦上增加環境變量:
OLLAMA_ORIGINS="*"
OLLAMA_HOST=0.0.0.0:11434
2.3 使用open-webui
3、數據投喂訓練AI
實現數據投喂訓練AI,需要下載
nomic-embed-text
和安裝AnythingLLM
。
- nomic-embed-text:用于生成文本的嵌入向量,將文本轉換為數值形式,便于AI模型處理和分析。
- AnythingLLM:一個工具或平臺,用于管理和訓練AI模型,支持數據投喂和模型優化,幫助提升AI性能。
兩者結合,可實現數據預處理和模型訓練,提升AI效果。
3.1 下載nomic-embed-text
在終端輸入:ollama pull nomic-embed-text
回車下載nomic-embed-text嵌入式模型
3.2 下載AnythingLLM
官網地址:https://anythingllm.com/
雙擊安裝包
修改安裝路徑
點擊完成
軟件打開后,點擊開始
點擊箭頭,進行下一步
點擊【設置】,里面可以設置模型、界面顯示語言等
3.3 開始投喂
1、點擊upload選擇需要上傳的文件(支持鏈接、PDF、Txt、Word、Excel、PPT等常見文檔格式)
2、勾選上傳的文件
3、點擊【Move to Workspace】