1. 導入GGUF 類型的模型
1.1 先在huggingface 下載需要ollama部署的大模型
1.2 編寫modelfile
在ollama 里面輸入
ollama show --modelfile <你有的模型名稱>
eg:
ollama show --modelfile qwen2.5:latest
修改其中的from 路徑為自己的模型下載路徑
FROM /Users/lzx/AI/llm/lmstudio-community/Llama-3-Groq-8B-Tool-Use-GGUF
TEMPLATE """{{- if .Messages }}
{{- if or .System .Tools }}<|im_start|>system
{{- if .System }}
{{ .System }}
{{- end }}
{{- if .Tools }}# ToolsYou may call one or more functions to assist with the user query.You are provided with function signatures within <tools></tools> XML tags:
<tools>
{{- range .Tools }}
{"type": "function", "function": {{ .Function }}}
{{- end }}
</tools>For each function call, return a json object with function name and arguments within <tool_call></tool_call> XML tags:
<tool_call>
{"name": <function-name>, "arguments": <args-json-object>}
</tool_call>
{{- end }}<|im_end|>
{{ end }}
{{- range $i, $_ := .Messages }}
{{- $last := eq (len (slice $.Messages $i)) 1 -}}
{{- if eq .Role "user" }}<|im_start|>user
{{ .Content }}<|im_end|>
{{ else if eq .Role "assistant" }}<|im_start|>assistant
{{ if .Content }}{{ .Content }}
{{- else if .ToolCalls }}<tool_call>
{{ range .ToolCalls }}{"name": "{{ .Function.Name }}", "arguments": {{ .Function.Arguments }}}
{{ end }}</tool_call>
{{- end }}{{ if not $last }}<|im_end|>
{{ end }}
{{- else if eq .Role "tool" }}<|im_start|>user
<tool_response>
{{ .Content }}
</tool_response><|im_end|>
{{ end }}
{{- if and (ne .Role "assistant") $last }}<|im_start|>assistant
{{ end }}
{{- end }}
{{- else }}
{{- if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>
{{ end }}<|im_start|>assistant
{{ end }}{{ .Response }}{{ if .Response }}<|im_end|>{{ end }}"""
SYSTEM You are watt-tool-8B, a helpful assistant with tool calling capabilities.
ollama create Llama-3-Groq-8B-Tool -f config.modelfile
執行創建就完成了
2.導入 safetensors 模型導入Ollama
2.1 先在huggingface 下載需要ollama部署的大模型
這里以llama-3為例子,下載所有的文件，或者使用git 拉代碼庫，需要git lfs
2.2 安裝llama.cpp
git clone https://github.com/ggerganov/llama.cpp.git
pip install -r requirements.txt
2.3 格式轉換
在llama.cpp的安裝目錄下，執行
python convert_hf_to_gguf.py "<你下載的模型路徑>" --outtype f16 --verbose --outfile "<你要輸出的文件位置>"
2.4 然后他就轉換為GGUF格式了，就按GGUF格式的來就好啦
3.ollama量化
我發現ollama pull下來的模型大小比直接從huggingface下載下來的SAFE類型小很多，于是去ollama看了下大模型量化
https://github.com/ollama/ollama/blob/b51e0f397ced70bbfa7f22e9b3c94953967cb8e5/ml/backend/ggml/ggml/src/ggml-quants.h#L17
這個里面是一些常見的量化支持，這里我們選擇的是q4_K_M
執行創建命令的時候帶上
ollama create --quantize q4_K_M <你要在ollama中顯示的模型名稱> -f Modelfile
)
