安裝Ollama
Ollama官方網址:https://ollama.com
下載運行大模型
- 在Ollama官網中查看需要下載的大模型
https://ollama.com/library
- 復制圖片中的鏈接
打開cmd,運行此命令(此過程會時間會很久)
下載Miniconda
- Miniconda作用是創建環境,防止不同python版本相互影響,推薦默認安裝
https://repo.anaconda.com/miniconda/Miniconda3-latest-Windows-x86_64.exe
安裝時這里需要勾選上
配置Anaconda 軟件倉庫
- 清華大學Anaconda倉庫
https://mirror.tuna.tsinghua.edu.cn/help/anaconda/
windows打開cmd執行此命令:conda config --set show_channel_urls yes
- 后打開文件資源管理器,打開此文件
C:\Users\系統用戶名\.condarc
更改里面的內容修改為如下內容(可在清華大學Anaconda倉庫中找到):
創建Conda環境命令
- 打開cmd執行如下命令創建環境
conda create -n py311 python=3.11
安裝OpenwebUI
pip install -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple open-webui
這個過程可能會很久
-
安裝完成之后使用
open-webui serve
運行open-webui
運行剛開始運行時可能會遇見問題(報錯,依賴找不到問題):
-
需要下載此模型文件,放在對應文件夾下:
-
再運行open-webui
open-webui serve
-
成功后打開鏈接:http://localhost:8080
注冊后登錄
-
進去后可自動識別本地大模型
到在這里本地大模型就部署好啦~
PS:此教程參考b站,視頻鏈接: 點擊進入