一、ollama準備
1.官網下載ollama:https://ollama.com/download
2.在 d 盤創建 ollama 文件夾,把軟件包放進去
3.管理員身份運行黑窗口
win + r
彈出運行窗口
輸入 cmd 后, ctrl + shift + 回車,以管理員身份打開
3.切換到 d 盤,添加系統環境變量(如果直接運行安裝文件,模型文件會自動保存在C盤。時間久了,C盤很容易存滿)
d:
回車
setx OLLAMA_MODELS d:\ollama\models /M
(OLLAMA_MODELS: 環境變量名稱,d:\ollama\models: 變量值,/M: 創建的是系統環境變量)
作用展示:
4.切換到 ollama 目錄,安裝ollama程序到指定目錄
cd ollama
ollamaSetup.exe /dir=d:\ollama
在彈出的安裝界面中,點 Install 后, 等待完成
5.關閉原來的 CMD,打開一個新的 CMD,讓配置生效,并查看ollama是否安裝成功
ollama -v
二、拉取并運行模型
1.官網搜索想要的模型:https://ollama.com
點擊models 菜單項,進入模型列表頁面
2.找到模型后,點擊進入詳情頁面
3.選擇想要的模型參數大小,復制右側的命令
4.回到 CMD 窗口,粘貼命令,修改命令為僅下載,不運行
原命令 ollama run deepseek-r1:7b
新命令 ollama pull deepseek-r1:7b
(下載(拉取模型)速度變慢,可以 ctrl+c 中斷,過一會再執行 ollama pull deepseek-r1:7b, 將會接著上一次的進度進行拉取下載)
5.運行大模型
ollama run deepseek-r1:7b
在 >>>提示符后輸入信息即可聊天
tips:管理員運行的黑窗口才可以中文輸入
輸入/bye
或者 ctrl + d 也可以退出. ollama服務還在
三、Open-webui前端部署
1.直接在anaconda創建的虛擬環境中部署
1.創建虛擬環境指令:conda create -n open-webui python=3.11
2.一般創建工作區非常順利,如果不放心,新打開黑窗口,查看工作區是否創建成功指令:conda info -e
3.進入創建的工作區指令:conda activate open-webui
4.配置pip清華鏡像指令:pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
鏡像指令來自:https://zhuanlan.zhihu.com/p/628870519
5.安裝 open-webui指令:pip install open-webui
6.啟動 open-webui指令:open-webui serve
7.服務啟動成功頁面
8.瀏覽器打開服務:localhost:8080
9.輸入信息,創建管理員賬號
10.創建后進入頁面,彈出版本信息
11.嘗試使用(ctl+c或者叉掉黑窗口,意味著關閉服務,瀏覽器中將不能使用)
平時使用流程
1.打開黑窗口,進入open-webui工作區指令:conda activate open-webui
2.工作區中啟動open-webui指令:open-webui serve
3.退出或關閉 open-webui:ctrl + c或者叉掉黑窗口
查看工作區安裝的open-webui項目信息
指令:conda activate open-webui
pip show open-webui
查看模型情況
查看ollama中拉取的模型指令:ollama list
查看正在運行的模型情況:ollama ps
刪除open-webui工作區內容:
指令:conda remove -n open-webui --all
2.Open-webui使用非pip安裝運行
- node.js已經安裝,版本20以上,(我下載的22)
- node.js環境變量已配置
1.在github上下載源碼
2.右鍵放項目的地方,打開Git Bash,克隆指令:git clone https://github.com/open-webui/open-webui.git
(換成自己要克隆的項目地址哈)
3.等待克隆完成
4.使用魔法速度還是慢?克隆失敗?
使用魔法指令:
git config --global http.proxy http://127.0.0.1:7890
git config --global https.proxy http://127.0.0.1:7890
如果不需要魔法,可以取消設置,指令:
git config --global --unset http.proxy
git config --global --unset https.proxy
目的是設置 Git 通過 HTTP 和 HTTPS 協議訪問網絡時使用魔法工具地址,確保你的魔法工具(如 小貓)已啟動,且 7890
端口是它的監聽端口(不同工具端口可能不同),僅對 Git 生效,此配置不會影響其他程序(如瀏覽器)的網絡請求
效果:速率提高到每秒兆字節
5.進入目錄
6.路徑輸入cmd,啟動黑窗口,運行指令npm install
7.路徑打開的cmd不是管理員身份打開的,win+R打開運行,輸入cmd后,ctrl+shift+回車。切到目錄再執行指令:npm install
安裝后會在目錄中多一個文件夾:node_modules,如果沒有顯示,返回上一級文件夾,再進入。
8.繼續輸入指令完成前端構建:npm run build
9.依舊使用anaconda中創建的open-webui虛擬環境
10.運行指令:.\start_windows.bat
平常使用
1.路徑打開黑窗口,避免切目錄
2.虛擬環境下運行黑窗口
11.瀏覽器輸入localhost:8080
,聊天記錄是空的,可見是新部署的。
四、我的疑惑
Q1:為什么右鍵項目,使用pycharm打開,運行后端的main.py文件,報無法打開數據庫文件(unable to open database file
),管理員運行pycharm也不行。。。