推薦一款AI大模型托管平臺-OpenWebUI

1. OpenWebUI

1. OpenWebUI什么?

官網地址：https://openwebui.com/

GitHub地址： https://github.com/open-webui/open-webui

Open WebUI 是一個可擴展、功能豐富且用戶友好的自托管 AI 平臺，旨在完全離線運行。它支持各種 LLM 運行器（如Ollama）和與OpenAI 兼容的 API，并內置RAG 推理引擎，使其成為強大的 AI 部署解決方案。

欲了解更多信息，請務必查看我們的Open WebUI 文檔。

2. Open WebUI 的主要功能?

• 🚀輕松設置：使用 Docker 或 Kubernetes（kubectl、kustomize 或 helm）無縫安裝，獲得無憂體驗，并支持:ollama標記:cuda圖像。
• 🤝 Ollama/OpenAI API 集成：輕松集成 OpenAI 兼容 API，與 Ollama 模型一起實現多功能對話。自定義 OpenAI API URL 以鏈接到LMStudio、GroqCloud、Mistral、OpenRouter 等。
• 🛡?細粒度的權限和用戶組：通過允許管理員創建詳細的用戶角色和權限，我們確保了安全的用戶環境。這種粒度不僅增強了安全性，而且還允許定制用戶體驗，培養用戶的主人翁意識和責任感。
• 📱響應式設計：享受臺式電腦、筆記本電腦和移動設備之間的無縫體驗。
• 📱適用于移動設備的漸進式 Web 應用程序 (PWA)：通過我們的 PWA 在您的移動設備上享受類似原生應用程序的體驗，提供本地主機上的離線訪問和無縫的用戶界面。
• ??🔢完全支持 Markdown 和 LaTeX：通過全面的 Markdown 和 LaTeX 功能提升您的 LLM 體驗，實現豐富的交互。
• 🎤📹免提語音/視頻通話：體驗集成的免提語音和視頻通話功能的無縫通信，從而實現更加動態和互動的聊天環境。
• 🛠?模型構建器：通過 Web UI 輕松創建 Ollama 模型。通過Open WebUI Community集成輕松創建和添加自定義角色/代理、自定義聊天元素和導入模型。
• 🐍原生 Python 函數調用工具：通過工具工作區中的內置代碼編輯器支持增強您的 LLM。只需添加純 Python 函數即可自帶函數 (BYOF)，從而實現與 LLM 的無縫集成。
• 📚本地 RAG 集成：借助突破性的檢索增強生成 (RAG) 支持，探索聊天交互的未來。此功能將文檔交互無縫集成到您的聊天體驗中。您可以將文檔直接加載到聊天中或將文件添加到文檔庫中，使用#查詢前的命令輕松訪問它們。
• 🔍 RAG 的網絡搜索：使用SearXNG、、、、、、、、和等提供商執行網絡搜索，Google PSE并將結果直接注入您的聊天體驗。Brave Search``serpstack``serper``Serply``DuckDuckGo``TavilySearch``SearchApi``Bing
• 🌐網頁瀏覽功能#：使用命令后跟 URL，將網站無縫集成到您的聊天體驗中。此功能允許您將網頁內容直接整合到您的對話中，增強互動的豐富性和深度。
• 🎨圖像生成集成：使用 AUTOMATIC1111 API 或 ComfyUI（本地）以及 OpenAI 的 DALL-E（外部）等選項無縫整合圖像生成功能，通過動態視覺內容豐富您的聊天體驗。
• ??多模型對話：輕松同時與各種模型互動，利用其獨特優勢獲得最佳響應。通過同時利用多種模型來增強您的體驗。
• 🔐基于角色的訪問控制 (RBAC)：通過受限的權限確保安全訪問；只有授權個人才能訪問您的 Ollama，并且為管理員保留獨占的模型創建/拉取權限。
• 🌐🌍多語言支持：借助我們的國際化 (i18n) 支持，以您喜歡的語言體驗 Open WebUI。加入我們，擴大我們支持的語言！我們正在積極尋找貢獻者！
• 🧩 Pipelines、Open WebUI 插件支持：使用Pipelines 插件框架將自定義邏輯和 Python 庫無縫集成到 Open WebUI 中。啟動您的 Pipelines 實例，將 OpenAI URL 設置為 Pipelines URL，并探索無限可能。示例包括函數調用、用戶速率限制以控制訪問、使用 Langfuse 等工具進行使用情況監控、****使用 LibreTranslate 進行實時翻譯以支持多語言、有毒消息過濾等等。
• 🌟持續更新：我們致力于通過定期更新、修復和新功能來改進 Open WebUI。

想要了解更多有關 Open WebUI 的功能？查看我們的Open WebUI 文檔，獲得全面概述！

3. Open WebUI Community

Open WebUI的姊妹項目Open WebUI Community，您可以在其中發現、下載和探索自定義的模型文件。Open WebUI Community 提供了各種令人興奮的可能性，可增強您與 Open WebUI 的聊天互動！🚀