前言
Open-WebUI 是一款專為大模型設計的開源可視化交互工具,它通過類 ChatGPT 的直觀界面,讓用戶無需代碼即可管理、調試和調用本地或云端的大語言模型(LLMs),成為私有化部署的便捷工具,本文將介紹如何部署并使用Open-WebUI。
虛擬環境安裝配置
安裝conda
首先要安裝conda環境,windows環境下從官網中下載適合自身系統的conda按照指引下載即可
conda官網:https://anaconda.org/anaconda/conda
Linux環境下conda的安裝可以參照
配置英偉達驅動、Cuda、cudnn、Conda、Pytorch、Pycharm等Python深度學習環境或Ubuntu Server環境下載安裝圖形化界面、英偉達顯卡驅動、Cuda、cudnn、conda的深度學習環境完成配置
創建虛擬環境并安裝Open-WebUI
conda create -n openwebui python=3.11 -y
conda activate openwebui
注意這里python版本為3.11,低版本的直接采用pip安裝會報錯
隨后直接使用pip方式安裝即可
pip install open-webui
安裝ollama
ollama的安裝參照探索大語言模型(LLM):Ollama快速安裝部署及使用(含Linux環境下離線安裝),本文不再贅述
啟動服務
等待安裝完成后
輸入命令
open-webui serve
訪問localhost:8080
即可
初次登陸可以創建管理員賬號