一、在MacOS上安裝Ollama

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

最后停掉Docker的ollama，就能在webui中加載llama模型

二、在MacOS上安裝Docker

科學上網

# 進入 open-webui 目錄 cd /volume1/docker/open-webui # 將 docker-compose.yml 放入當前目錄 # 一鍵啟動 docker-compose up -d

三、在MacOS上安裝Open-webui

安裝CPU模式的open-webui

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

在瀏覽器地址上輸入http://0.0.0.0:3000，會打開如下界面

本人是MacOS系統，晚上自動轉成了黑色風格，可忽略；如果是第一次運行，需要注冊一個管理者賬號，然后登錄。你也可以再創建普通用戶，這樣可以進行分級登錄管理。將Open WebUI的管理者和普通用戶做好區分，以便企業知識庫做權限分離管理。每個部門可以搭建單獨且互不影響的知識庫。并且可以針對不同部門，使用不同的大模型以適應業務需要。

四、在Open WebUI上導入知識庫

我之前在向量模型這里遇到了困難。嘗試加載了很多向量模型，結果進行文檔內容查詢生成的時候出現了幻覺（沒有生成高質量需要的內容）。后來反復嘗試發現只有默認的向量模型引擎設置，選擇向量模型"sentence-transformers/all-MiniLM-L6-v2"后，才能真正實現知識庫文檔的內部查詢輸出效果。選擇其他向量模型的時候，遇到過如下問題：

1、維度不一致報錯；這是因為每次切換向量模型的時候，由于已經上傳的文檔是按照之前向量模型的結構做了向量化處理。在新的向量模型設置成功后，不能自動切換新的設置。需要將老文檔刪除，并刪除chromadb的文件。在Docker中重啟open webui的鏡像后，重新上傳知識文檔。

2、選擇其他Ollama支持的向量模型后，發現生成內容并沒有在已上傳的知識文檔中查詢生成。這個問題留待后續繼續跟蹤分析。