安裝準備
openwebui
這個本地安裝之前寫過使用python安裝。也可以直接用docker 命令
docker run --rm -d \-p 3080:8080 \-p 3081:8081 \-e WEBUI_AUTH=true \-e DEFAULT_LOCALE=cn \-e GLOBAL_LOG_LEVEL="INFO" \-e AIOHTTP_CLIENT_TIMEOUT=100 \--privileged=true \-v /opt/app/test/ai/ollama/modelfile:/root/modelfile \-v /opt/app/test/ai/dev_open-webui_test/ollama:/root/.ollama \-v /opt/app/test/ai/dev_open-webui_test/data:/app/backend/data \-v /opt/app/test/ai/dev_open-webui_test/open_webui-0.4.8/backend/open_webui:/app/backend/open_webui \--name dev_open-webui_test \ghcr.io/open-webui/open-webui:ollama
docker logs -f dev_open-webui_test
啟動的時候,會因為huggingface加載sententranformer的模型報錯,但是應該不影響啟動openwebui。
sententranformer是個語義小模型,如果只是使用openwebui與后臺的聊天可以忽略這個錯誤,但是做知識庫,而且使用默認的sententranformer進行語義分析,就需要安裝
先從別的途徑下載這個模型,魔塔等國內資源都可以獲取到。
windows下裝sententranformer
windows可以直接放到對應目錄然后openwebui啟動的時候,自動加載,windows目錄
C:\Users\用戶名.cache\huggingface\hub\models–sentence-transformers–all-MiniLM-L6-v2
linux下裝sententranformer
linux的docker安裝的話,可以拷貝到可以進入容器查看 環境變量SENTENCE_TRANSFORMERS_HOME配置的位置,我的是在 /app/backend/data ,所以看到docker啟動的時候,也掛載了這個目錄
配置 語義向量模型
當然語義模型也可以換其他ollama或者openai接口
當然基礎的聊天模型是需要配置好,這個基礎
配置知識庫
首頁側邊欄,工作空間 -》知識–》+ 增加知識庫
創建知識庫
點擊知識庫,進入可以點擊+ 上傳文檔,就可以上傳知識了。
配置知識庫的模型
知識庫是基礎模型上知識庫,還是得進入工作模型-》模型
選上基礎模型 ,添加剛建立的數據庫,保存。比如我們保存的模型叫test_model
測試本地知識庫
進入對話窗口,模型選擇剛才建立的 test_model,然后對話的時候,就會顯示如下:
下面紅框會顯示從知識庫中查出來的內容鏈接,當然這些內容也會傳給后臺消息,后臺可以總結這些信息做一下輸出。