🎼個人主頁:【Y小夜】
😎作者簡介:一位雙非學校的大三學生,編程愛好者,
專注于基礎和實戰分享,歡迎私信咨詢!
🎆入門專欄:🎇【MySQL,Javaweb,Rust,python】
🎈熱門專欄:🎊【Springboot,Redis,Springsecurity,Docker,AI】?
感謝您的點贊、關注、評論、收藏、是對我最大的認可和支持!??
目錄
🎈本地部署模型
🎉安裝Ollama
🎉安裝 Open WebUI
🎊安裝Docker
🥞啟動 Hyper-v
🥞?安裝 WSL(適用于Linux的Windows的子系統):
🥞安裝Docker
?🎊Docker 部署 Open WebUI
🎈本地部署模型
🎉安裝Ollama
官網:?Ollama
然后進行一下下載
安裝完成之后是沒有提示的,然后我們需要去測試一下。(這里我是以QWen為例子,大家可以嘗試其他的模型)
打開一個終端,然后輸入一個命令,進行測試
ollama run qwen
?現在是正在進行下載,默認是保存在(C 盤,C:\Users<username>.ollama\models 如果想更改默認路徑,可以通過設置OLLAMA_MODELS
進行修改,然后重啟終端,重啟 ollama 服務。或者在環境變量中修改OLLAMA_MODELS的位置
)
setx OLLAMA_MODELS "D:"
下載完成后,可以進行測試:
查看都安裝了什么模型
ollma list命令顯示所有安裝模型ollama rm 模型名稱 刪除指定模型
但這個現在就只可以在終端中使用?,那么我問現在就搞一個web頁面進行交互,增加體驗。
🎉安裝 Open WebUI
🎊安裝Docker
如果你本地已經有了Docker了,那就可以直接看下面的內容。
🥞啟動 Hyper-v
但是如果你這里沒有Hyper-V,那么恭喜你,博主也沒有,博主已經踩過這個坑了。
我們首先在桌面上建立一個文件,命名為Hyper.cmd,然后填入內容
pushd "%~dp0"
dir /b %SystemRoot%\servicing\Packages\*Hyper-V*.mum >hyper-v.txt
for /f %%i in ('findstr /i . hyper-v.txt 2^>nul') do dism /online /norestart /add-package:"%SystemRoot%\servicing\Packages\%%i"
del hyper-v.txt
Dism /online /enable-feature /featurename:Microsoft-Hyper-V-All /LimitAccess /ALL
然后使用管理員身份運行這個文件,運行完畢后,重啟電腦,再打開,就可以找到Hyper-V了。
🥞?安裝 WSL(適用于Linux的Windows的子系統):
wsl --update
然后進行安裝
wsl --install
?
🥞安裝Docker
官網:?Windows | Docker Docs
然后進行下載:
然后雙擊進行安裝
這里咱們先不注冊,直接進行登錄即可
左下角是綠色,就代表運行成功了
?🎊Docker 部署 Open WebUI
打開命令行,然后輸入docker
展示內容,說明我們的docker安裝成功了
然后開始用docker安裝open webUI
然后,安裝完成夠就可以,打開Docker Desktop,訪問http://localhost:3000端口了
然后點擊登錄網址,
就是你會發現,點擊上方選擇一個模型旁邊的加號+可以增加大模型,點擊下拉按鈕可以選擇當前使用哪一個已安裝的模型,但是,你可能會出現一個錯誤,就是找不到你自己安裝的模型,這個原因是因為你的ollama沒有啟動,我們啟動一下ollama
然后再重新,加載一下網頁,再選擇一下模型
提問一下問題,模型進行回答。這樣我們本地的模型就部署好了