1、Ollama
1、下載Ollama安裝包
https://ollama.com/download
(如果下載很慢 可以直接找我拿安裝包)
2、使用命令行安裝
打開cmd 將下載的安裝包OllamaSetup.exe 放到想要安裝的目錄下。(如果直接雙擊,會裝到C盤)
例如想裝到D盤下的Ollama目錄下 這樣輸入命令行
JavaScript |
測試是否安裝成功,在命令行輸入,輸出版本號,代表安裝成功
JavaScript |
3、安裝模型
模型地址可見:https://ollama.com/search
安裝deepseek的ri模型 在命令行輸入:
JavaScript |
模型安裝成功,輸入問題 看是否會回復。
如果只是用命令行問問題,過于死板了,來起個docker服務+openUI搭建可視化界面。
2、Docker
1、啟動windows功能
找到控制面板下的<程序>
找到程序下的 啟用或關閉Windows功能
把這些紅框下的 勾選上
2、下載對應系統的docker安裝包
https://www.docker.com/products/docker-desktop/
雙擊下載的 Docker Desktop 安裝包,啟動安裝程序
安裝過程中根據提示進行安裝,建議選擇默認選項,包括啟用 WSL 2 和 Hyper-V
安裝完成后,系統會提示你重啟計算機。請務必重啟計算機以完成安裝
如果有報錯 看這里試試:
1、An error occurred while updating WSL.
1、安裝wsl
報錯 操作超時
wsl --set-default-version 2
2、Unable to find image 'hello-world:latest' locally
配置鏡像
JavaScript |
再次運行成功。
3、OpenUI
https://docs.openwebui.com/getting-started/quick-start
1、通過docker安裝open-ui
在命令行輸入:
JavaScript |
在命令行輸入:
JavaScript |
查看docker的容器 會發現多了個open-webui的容器
訪問:http://localhost:3000/
恭喜你本地私有化部署成功,去體驗吧