在Mac mini M4上部署DeepSeek R1本地大模型

在Mac mini M4上部署DeepSeek R1本地大模型

安裝ollama

本地部署,我們可以通過Ollama來進行安裝

Ollama 官方版:【點擊前往】
Web UI 控制端【點擊安裝】

如何在MacOS上更換Ollama的模型位置

默認安裝時,OLLAMA_MODELS 位置在"~/.ollama/models"

只需要通過更改Mac的環境變量,并且重啟Ollama就可以達到目的。

launchctl setenv OLLAMA_MODELS “你的模型文件夾路徑”
舉例如下:我有一個共享磁盤目錄,希望把大文件放在這里

launchctl setenv OLLAMA_MODELS “/Volumes/192.168.2.127/AI/Ollama/mac/ollama_models”

~/.ollama/models是一個隱藏文件夾,你需要通過Command?+Shift?+。來讓它顯形。或者直接執行下方命令(確認后可以刪除之前文件夾中內容)。

cp -R ~/.ollama/models 你的模型文件夾路徑
重新啟動Ollama APP

下載大模型文件Mac mini M4系統老是重置問題的解決

我用windows系統下載好文件以后從E:\AI\Ollama\blobs復制到E:\AI\Ollama\mac\ollama_models\blobs即mac系統的/Volumes/192.168.2.127/AI/Ollama/mac/ollama_models/blobs

C:\Users\Administrator>ollama run deepseek-r1:7b
pulling manifest
pulling 96c415656d37... 100% ▕████████████████████████████████████████████████████████▏ 4.7 GB
pulling 369ca498f347... 100% ▕████████████████████████████████████████████████████████▏  387 B
pulling 6e4c38e1172f... 100% ▕████████████████████████████████████████████████████████▏ 1.1 KB
pulling f4d24e9138dd... 100% ▕████████████████████████████████████████████████████████▏  148 B
pulling 40fb844194b2... 100% ▕████████████████████████████████████████████████████████▏  487 B
verifying sha256 digest
writing manifest
success
holyeyes@holyeyesdeMini ~ % ollama run deepseek-r1:7b
pulling manifest 
pulling 96c415656d37... 100% ▕████████████████▏ 4.7 GB                         
pulling 369ca498f347... 100% ▕████████████████▏  387 B                         
pulling 6e4c38e1172f... 100% ▕████████████████▏ 1.1 KB                         
pulling f4d24e9138dd... 100% ▕████████████████▏  148 B                         
pulling 40fb844194b2... 100% ▕████████████████▏  487 B                         
verifying sha256 digest 
writing manifest 
success 

使用docker方式安裝webui

安裝docker

根據電腦芯片選擇下載版本,我選擇的是?Download for Mac - Apple Silicon

在這里插入圖片描述

安裝運行open-webui

sudo docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
holyeyes@holyeyesdeMini ~ % sudo docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
Password:
Unable to find image 'ghcr.io/open-webui/open-webui:main' locally
2025/02/02 14:39:46 must use ASL logging (which requires CGO) if running as root
main: Pulling from open-webui/open-webui
7ce705000c39: Pull complete 
d02d1a1ced20: Pull complete 
8c2bfb64ec8e: Pull complete 
1c510bbba845: Pull complete 
c1b66c7e5efa: Pull complete 
4f4fb700ef54: Pull complete 
cef437bcef5f: Pull complete 
77456adf2b22: Pull complete 
815479942156: Pull complete 
293c52404a14: Pull complete 
b7fca0b068c8: Pull complete 
b9defacaa06c: Pull complete 
690490b2e7dc: Pull complete 
b5f1de319771: Pull complete 
40635cddd89d: Pull complete 
Digest: sha256:b2c83b5c7b9b244999307b4b1c0e195d41268f3d3a62b84b470c0cea5c5743fd
Status: Downloaded newer image for ghcr.io/open-webui/open-webui:main
6acb84b71300f3b5d5341ddabb7647d03e2523f4d792aac8796af87c39a14e3f
holyeyes@holyeyesdeMini ~ % 

webui兩種安裝方式對比測試發現docker方式的要好

webui插件方式回答問題錯誤

在這里插入圖片描述

docker方式回答問題正確

在這里插入圖片描述

參考:

https://www.5bei.cn/macminim4-local-running-model-ollamallamacomfyu.html#2024-12-11_1028tui_jian_zhong_xin_guan_kan

https://blog.csdn.net/weixin_44336445/article/details/145400324

https://blog.csdn.net/weixin_44626085/article/details/145407887

本文來自互聯網用戶投稿,該文觀點僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務,不擁有所有權,不承擔相關法律責任。
如若轉載,請注明出處:http://www.pswp.cn/web/67998.shtml
繁體地址,請注明出處:http://hk.pswp.cn/web/67998.shtml
英文地址,請注明出處:http://en.pswp.cn/web/67998.shtml

如若內容造成侵權/違法違規/事實不符,請聯系多彩編程網進行投訴反饋email:809451989@qq.com,一經查實,立即刪除!

相關文章

CVPR | CNN融合注意力機制,蕪湖起飛!

**標題:**On the Integration of Self-Attention and Convolution **論文鏈接:**https://arxiv.org/pdf/2111.14556 **代碼鏈接:**https://github.com/LeapLabTHU/ACmix 創新點 1. 揭示卷積和自注意力的內在聯系 文章通過重新分解卷積和自…

module ‘matplotlib.cm‘ has no attribute ‘get_cmap‘

目錄 解決方法1: 解決方法2,新版api改了: module matplotlib.cm has no attribute get_cmap 報錯代碼: cmap matplotlib.cm.get_cmap(Oranges) 解決方法1: pip install matplotlib3.7.3 解決方法2,新版…

使用Nuxt.js實現服務端渲染(SSR):提升SEO與性能的完整指南

使用Nuxt.js實現服務端渲染(SSR):提升SEO與性能的完整指南 使用Nuxt.js實現服務端渲染(SSR):提升SEO與性能的完整指南1. 服務端渲染(SSR)核心概念1.1 CSR vs SSR vs SSG1.2 SSR工作原…

解釋 Java 中的反射機制和動態代理的原理?

反射機制是Java語言的一個特性,它允許程序在運行時檢查和操作類、方法、字段等。 通過反射,我們可以在運行時獲取類的信息,創建對象,調用方法和訪問字段,即使這些信息在編譯時是未知的。 反射的基本用法 import jav…

http狀態碼:504 Gateway Timeout(網關超時)的原有以及排查問題的思路

504 Gateway Timeout(網關超時) 是一種常見的HTTP錯誤狀態碼,表示服務器作為網關或代理時,未能及時從上游服務器收到響應。以下是它的原因和排查問題的思路: 1. 504錯誤的含義 定義:服務器作為網關或代理時…

Linux 安裝 RabbitMQ

Linux下安裝RabbitMQ 1 、獲取安裝包 # 地址 https://github.com/rabbitmq/erlang-rpm/releases/download/v21.3.8.9/erlang-21.3.8.9-1.el7.x86_64.rpm erlang-21.3.8.9-1.el7.x86_64.rpmsocat-1.7.3.2-1.el6.lux.x86_64.rpm# 地址 https://github.com/rabbitmq/rabbitmq-se…

LOCAL_PREBUILT_JNI_LIBS使用說明

LOCAL_PREBUILT_JNI_LIBS使用說明 使用LOCAL_PREBUILT_JNI_LIBS,可用于控制APK集成時,其相關so的集成方式。 比如,用于將APK中的so,抽取出來。 LOCAL_PREBUILT_JNI_LIBS : \lib/arm64-v8a/libNativeCore.so \lib/arm64-v8a/liba…

Java中的object類

1.Object類是什么? 🟪Object 是 Java 類庫中的一個特殊類,也是所有類的父類(超類),位于類繼承層次結構的頂端。也就是說,Java 允許把任何類型的對象賦給 Object 類型的變量。 🟦Java里面除了Object類,所有的…

uniapp小程序自定義中間凸起樣式底部tabbar

我自己寫的自定義的tabbar效果圖 廢話少說咱們直接上代碼,一步一步來 第一步: 找到根目錄下的 pages.json 文件,在 tabBar 中把 custom 設置為 true,默認值是 false。list 中設置自定義的相關信息, pagePath&#x…

四、GPIO中斷實現按鍵功能

4.1 GPIO簡介 輸入輸出(I/O)是一個非常重要的概念。I/O泛指所有類型的輸入輸出端口,包括單向的端口如邏輯門電路的輸入輸出管腳和雙向的GPIO端口。而GPIO(General-Purpose Input/Output)則是一個常見的術語&#xff0c…

vscode+CMake+Debug實現 及權限不足等諸多問題匯總

環境說明 有空再補充 直接貼兩個json tasks.json {"version": "2.0.0","tasks": [{"label": "cmake","type": "shell","command": "cmake","args": ["../"…

【Elasticsearch】post_filter

post_filter是 Elasticsearch 中的一種后置過濾機制,用于在查詢執行完成后對結果進行過濾。以下是關于post_filter的詳細介紹: 工作原理 ? 查詢后過濾:post_filter在查詢執行完畢后對返回的文檔集進行過濾。這意味著所有與查詢匹配的文檔都…

《數據可視化新高度:Graphy的AI協作變革》

在數據洪流奔涌的時代,企業面臨的挑戰不再僅僅是數據的收集,更在于如何高效地將數據轉化為洞察,助力決策。Graphy作為一款前沿的數據可視化工具,憑借AI賦能的團隊協作功能,為企業打開了數據協作新局面,重新…

Vue 2 與 Vue 3 的主要區別

Vue.js 是一個流行的前端框架,用于構建用戶界面和單頁應用。自從 Vue 2 發布以來,社區對其進行了廣泛的應用和擴展,而 Vue 3 的發布則帶來了許多重要的改進和新特性。 性能提升 Vue 3 在響應式系統上進行了重大的改進,采用了基于…

從零開始:用Qt開發一個功能強大的文本編輯器——WPS項目全解析

文章目錄 引言項目功能介紹1. **文件操作**2. **文本編輯功能**3. **撤銷與重做**4. **剪切、復制與粘貼**5. **文本查找與替換**6. **打印功能**7. **打印預覽**8. **設置字體顏色**9. **設置字號**10. **設置字體**11. **左對齊**12. **右對齊**13. **居中對齊**14. **兩側對…

【IoCDI】_Spring的基本掃描機制

目錄 1. 創建測試項目 2. 改變啟動類所屬包 3. 使用ComponentScan 4. Spring基本掃描機制 程序通過注解告訴Spring希望哪些bean被管理,但在僅使用Bean時已經發現,Spring需要根據五大類注解才能進一步掃描方法注解。 由此可見,Spring對注…

vue 引入百度地圖和高德天氣 都得獲取權限

vue接入百度地圖---獲取ak https://blog.csdn.net/qq_57144407/article/details/143430661 vue接入高德天氣, 需要授權----獲取key https://www.jianshu.com/p/09ddd698eebe

通向AGI之路:人工通用智能的技術演進與人類未來

文章目錄 引言:當機器開始思考一、AGI的本質定義與技術演進1.1 從專用到通用:智能形態的范式轉移1.2 AGI發展路線圖二、突破AGI的五大技術路徑2.1 神經符號整合(Neuro-Symbolic AI)2.2 世界模型架構(World Models)2.3 具身認知理論(Embodied Cognition)三、AGI安全:價…

python中的命名規范

在python中,命名規范是編寫清晰,可讀性強代碼的重要部分,遵循這些規范可以使代碼更易于理解和維護。 Type命名約定命名例子函數(Function)小寫單詞,下劃線分割單詞function,delta_function方法&#xff08…

【工具變量】中國省級八批自由貿易試驗區設立及自貿區設立數據(2024-2009年)

一、測算方式:參考C刊《中國軟科學》任曉怡老師(2022)的做法,使用自由貿易試驗區(Treat Post) 表征,Treat為個體不隨時間變化的虛擬變量,如果該城市設立自由貿易試驗區則賦值為1,反之賦值為0&am…