成功運行截圖
部署步驟
我們進入到ollama的官網:
Ollama?ollama.com/?編輯
找到上方的Models ,然后點擊
此時會跳轉到模型列表頁面:
點擊?deepseek-r1?鏈接進去,此時我們會看到下拉框中有各個版本的大模型,越往后對電腦硬件的要求越高,如下圖所示:
模型參數(1.5B、7B、8B等)是什么意思?
這些數字代表模型的?參數量(比如1.5B=15億,7B=70億),你可以簡單理解為模型的“腦細胞數量”:
- 參數越多?→ 模型越聰明(能處理復雜任務,比如寫代碼、邏輯推理),但需要的計算資源也越多。
- 參數越少?→ 模型更輕量(反應快、適合簡單任務),但對復雜問題可能表現一般。
舉個例子:
- 1.5B 模型 ≈ 一個“高中生”水平(能聊天、寫短文)。
- 7B 模型 ≈ “大學生”水平(能寫代碼、分析問題)。
- 70B 模型 ≈ “教授”水平(專業級回答,但需要頂級顯卡)。
本地部署需要什么電腦配置?
運行模型主要依賴?內存(RAM)?和?顯卡(GPU),具體需求如下:
最低配置(能跑,但可能慢)
1.5B 模型:
-
- CPU:4核(Intel/AMD均可)
- 內存:8GB
- 顯卡:可選(無GPU也能跑,用CPU)
- 硬盤:5GB空間(存儲模型)
7B~8B 模型:
-
- CPU:4核以上
- 內存:16GB(必須!)
- 顯卡:可選,但有GPU(如NVIDIA GTX 1060 6GB)會快很多
- 硬盤:15GB空間
流暢配置(推薦)
7B~8B 模型:
-
- 內存:32GB(避免卡頓)
- 顯卡:NVIDIA RTX 3060(12GB顯存)或更高
- 硬盤:SSD(加快加載速度)
13B+ 模型:
-
- 需要高端顯卡(如RTX 4090 24GB顯存)或專業級設備。
根據上面的參考, 我們就安裝8B, 也就是80億參數。然后點擊右邊的復制,就會復制安裝命令。
打開cmd, 粘貼上面復制的命令, 等待下載。
此時我們的模型下載目錄就會多出文件:
等了很久,如果出現了 “unable to allocate CUDA0 buffer” , 表示你的GPU內存不足。
然后運行 “nvidia-smi”, 查看 占用GPU的進程,然后全部關掉。
然后重新運行 “ollama run deepseek-r1:8b” , 還是不行的話, 就用1.5B參數的吧!
我這里已經成功了: