1、服務器環境簡介

• 56核 CPU
• 64G 內存
• 無顯卡
• 已安裝 Ollama

2、下載模型與配置

正常可以通過 ollama pull 或 ollama run 命令直接下載，但通常會遇到連接超時、找不到網址等總理。因此，可以使用國內的模型站進行下載，在這里使用魔塔查找模型。

在這里，我下載了

DeepSeek-R1-Distill-Qwen-1.5B-GGUF

DeepSeek-R1-Distill-Qwen-7B-GGUF

兩個版本

下載后，分別創建兩個 txt 文件：

deepseek-r1-1.5B.txt，具體參數可依據使用情況修改

FROM ./DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf
PARAMETER temperature 0.7
PARAMETER top_p 0.95
PARAMETER top_k 40
PARAMETER repeat_penalty 1.1
PARAMETER min_p 0.05
PARAMETER num_ctx 8096
PARAMETER num_thread 4
PARAMETER stop "<|begin of sentence|>"
PARAMETER stop "<|end of sentence|>"
PARAMETER stop "<|User|>"
PARAMETER stop "<|Assistant|>"

?deepseek-r1-7B.txt，與1.5B 類似

FROM ./DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf
PARAMETER temperature 0.7
PARAMETER top_p 0.95
PARAMETER top_k 40
PARAMETER repeat_penalty 1.1
PARAMETER min_p 0.05
PARAMETER num_ctx 8096
PARAMETER num_thread 4
PARAMETER stop "<|begin of sentence|>"
PARAMETER stop "<|end of sentence|>"
PARAMETER stop "<|User|>"
PARAMETER stop "<|Assistant|>"

3、運行命令導入至 ollama

ollama create deepseek-r1:1.5B -f ./deepseek-r1-1.5B.txtollama create deepseek-r1:7B -f ./deepseek-r1-7B.txt

4、運行模型

ollama run?deepseek-r1:7B

5、運行測試結論

1.5B：能夠顯示思考過程，問答效果不佳，胡編亂造內容較多，運行較流暢。

7B：能夠顯示思考過程，問答效果略好，有胡編亂選內容，運行響應很慢。

總結，這兩個模型在這種配置的服務器上均可運行，但如果想得到較好的體驗，這個配置遠遠不夠。