一、電腦配置
個人電腦配置
二、安裝ollama
簡介:Ollama 是一個強大的開源框架,是一個為本地運行大型語言模型而設計的工具,它幫助用戶快速在本地運行大模型,通過簡單的安裝指令,可以讓用戶執行一條命令就在本地運行開源大型語言模型。
在ollama官網,根據自己電腦的類型選擇對應的下載安裝程序,比如我這里選擇 macos:
下載成功后,直接安裝。
如何判斷是否安裝成功?
打開一個命令行終端,輸入命令:ollama -v,顯示版本信息,表示安裝成功。
三、選擇合適的模型
點擊ollama–>models選項,可以查看支持運行的模型。
deepseek r1 有多種參數,通常我們macos 選擇7b,8b參數即可,參數越大對顯卡和內存要求越高,如果你是3090顯卡,4090 顯卡,可以選擇32b,70b,參數越大,效果越好。當然磁盤占用也越大。
選擇對應的蒸餾模型,按照下面的命令復制到ollama控制臺
DeepSeek-R1-Distill-Qwen-1.5B
ollama run deepseek-r1:1.5bDeepSeek-R1-Distill-Qwen-7B
ollama run deepseek-r1:7bDeepSeek-R1-Distill-Llama-8B
ollama run deepseek-r1:8bDeepSeek-R1-Distill-Qwen-14B
ollama run deepseek-r1:14bDeepSeek-R1-Distill-Qwen-32B
ollama run deepseek-r1:32bDeepSeek-R1-Distill-Llama-70B
ollama run deepseek-r1:70b
四、安裝并運行
安裝并運行對應的蒸餾模型,命令行執行:
ollama run deepseek-r1:8b
安裝成功后,在控制臺直接輸入問題,即可得到回復:
命令行如何退出大模型對話?
輸入:/bye