在Mac mini M4上部署DeepSeek R1本地大模型
安裝ollama
本地部署,我們可以通過Ollama來進行安裝
Ollama 官方版:【點擊前往】
Web UI 控制端【點擊安裝】
如何在MacOS上更換Ollama的模型位置
默認安裝時,OLLAMA_MODELS 位置在"~/.ollama/models"
只需要通過更改Mac的環境變量,并且重啟Ollama就可以達到目的。
launchctl setenv OLLAMA_MODELS “你的模型文件夾路徑”
舉例如下:我有一個共享磁盤目錄,希望把大文件放在這里
launchctl setenv OLLAMA_MODELS “/Volumes/192.168.2.127/AI/Ollama/mac/ollama_models”
~/.ollama/models是一個隱藏文件夾,你需要通過Command?+Shift?+。來讓它顯形。或者直接執行下方命令(確認后可以刪除之前文件夾中內容)。
cp -R ~/.ollama/models 你的模型文件夾路徑
重新啟動Ollama APP
下載大模型文件Mac mini M4系統老是重置問題的解決
我用windows系統下載好文件以后從E:\AI\Ollama\blobs復制到E:\AI\Ollama\mac\ollama_models\blobs即mac系統的/Volumes/192.168.2.127/AI/Ollama/mac/ollama_models/blobs
C:\Users\Administrator>ollama run deepseek-r1:7b
pulling manifest
pulling 96c415656d37... 100% ▕████████████████████████████████████████████████████████▏ 4.7 GB
pulling 369ca498f347... 100% ▕████████████████████████████████████████████████████████▏ 387 B
pulling 6e4c38e1172f... 100% ▕████████████████████████████████████████████████████████▏ 1.1 KB
pulling f4d24e9138dd... 100% ▕████████████████████████████████████████████████████████▏ 148 B
pulling 40fb844194b2... 100% ▕████████████████████████████████████████████████████████▏ 487 B
verifying sha256 digest
writing manifest
success
holyeyes@holyeyesdeMini ~ % ollama run deepseek-r1:7b
pulling manifest
pulling 96c415656d37... 100% ▕████████████████▏ 4.7 GB
pulling 369ca498f347... 100% ▕████████████████▏ 387 B
pulling 6e4c38e1172f... 100% ▕████████████████▏ 1.1 KB
pulling f4d24e9138dd... 100% ▕████████████████▏ 148 B
pulling 40fb844194b2... 100% ▕████████████████▏ 487 B
verifying sha256 digest
writing manifest
success
使用docker方式安裝webui
安裝docker
根據電腦芯片選擇下載版本,我選擇的是?Download for Mac - Apple Silicon
安裝運行open-webui
sudo docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
holyeyes@holyeyesdeMini ~ % sudo docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
Password:
Unable to find image 'ghcr.io/open-webui/open-webui:main' locally
2025/02/02 14:39:46 must use ASL logging (which requires CGO) if running as root
main: Pulling from open-webui/open-webui
7ce705000c39: Pull complete
d02d1a1ced20: Pull complete
8c2bfb64ec8e: Pull complete
1c510bbba845: Pull complete
c1b66c7e5efa: Pull complete
4f4fb700ef54: Pull complete
cef437bcef5f: Pull complete
77456adf2b22: Pull complete
815479942156: Pull complete
293c52404a14: Pull complete
b7fca0b068c8: Pull complete
b9defacaa06c: Pull complete
690490b2e7dc: Pull complete
b5f1de319771: Pull complete
40635cddd89d: Pull complete
Digest: sha256:b2c83b5c7b9b244999307b4b1c0e195d41268f3d3a62b84b470c0cea5c5743fd
Status: Downloaded newer image for ghcr.io/open-webui/open-webui:main
6acb84b71300f3b5d5341ddabb7647d03e2523f4d792aac8796af87c39a14e3f
holyeyes@holyeyesdeMini ~ %
webui兩種安裝方式對比測試發現docker方式的要好
webui插件方式回答問題錯誤
docker方式回答問題正確
參考:
https://www.5bei.cn/macminim4-local-running-model-ollamallamacomfyu.html#2024-12-11_1028tui_jian_zhong_xin_guan_kan
https://blog.csdn.net/weixin_44336445/article/details/145400324
https://blog.csdn.net/weixin_44626085/article/details/145407887