5000元組裝一臺本地運行中、小模型主機,參考配置 (運行DeepSeek、Qwen)
5000元中、小模型主機 DeepSeek、Qwen 各精度模型推薦啟動方式
模型名稱 | 參數量 | 精度 | 模型大小 | 推薦運行模式 |
DeepSeek?R1 | 7b | Q4 | 5 GB | LM Studio純GPU |
14b | Q4 | 9 GB | LM Studio純GPU | |
32b | Q4 | 20 GB | LM Studio純GPU | |
Q8 | 35 GB | Ollama純CPU | ||
FP16 | 66 GB | Ollama純CPU | ||
70b | Q4 | 43 GB | Ollama純CPU | |
Q8 | 75 GB | |||
FP16 | 141 GB | |||
671b | Q4 | 404 GB | 不能運行 (增大虛擬內存可啟動) | |
Q8 | 713 GB | |||
FP16 | 1.3 TB | |||
Qwen qwq | 32b | Q4 | 20GB | LM Studio純GPU |
Q8 | 35GB | LM Studio?GPU+CPU | ||
FP16 | 66GB | Ollama純CPU |
Ollama下載模型拷貝到 LM Studio \models 目錄下需要建立兩層子目錄,并改文件格式為.gguf
C:\Users\Administrator\.lmstudio\models\Qwen\Qwq\qwq-fp16.gguf? ??