背景:
? ? ?本地下載了DeepSeek-R1-Distill-Qwen-7B模型后,通過ollama create?DeepSeek-R1-Distill-Qwen-7B -f? ds7b.mf加載模型啟動后回答混亂,無法使用。
解決方法
? ?重新下載模型,選擇了DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf
? ? 重新編寫ds7b.mf文件,文件內容如下:
FROM /root/zml/DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf
TEMPLATE """{{- if .System }}{{ .System }}{{ end }}
{{- range $i, $_ := .Messages }}
{{- $last := eq (len (slice $.Messages $i)) 1}}
{{- if eq .Role "user" }}<|User|>{{ .Content }}
{{- else if eq .Role "assistant" }}<|Assistant|>{{ .Content }}{{- if not $last }}<|end▁of▁sentence|>{{- end }}
{{- end }}
{{- if and $last (ne .Role "assistant") }}<|Assistant|>{{- end }}
{{- end }}"""PARAMETER stop "<|begin▁of▁sentence|>"
PARAMETER stop "<|end▁of▁sentence|>"
PARAMETER stop "<|user|>"
PARAMETER stop "<|Assistant|>"
再次加載模型后啟動正常