上一篇鏈接: 【大模型系列】使用ollama本地運行千問2.5模型 我們講了ollama本地運行大模型，這里我們介紹另一種本地運行大模型的方法：llamacpp

軟件下載

下載地址：https://github.com/ggml-org/llama.cpp/releases
下載cpu版本的llamacpp；建議下載3982版本的，新版本我試了在win上運行不了

下載后是一個壓縮包，解壓后配置Path

配置path

把解壓后的路徑加入到path中

校驗

任意新開命令行，輸入指令：

llama-cli -v

出現以下內容表示安裝成功

啟動

到模型所在目錄，執行以下命令即可；下載模型可見我另一篇：鏈接: 【大模型系列】入門常識備忘 ，這里我們下載的gguf格式的模型

llama-server -m qwen2.5-7b-instruct-q5_0.gguf --port 8088 -c 2048

port 是服務的端口
c 是context的意思，即最大能處理多少個token

啟動后就可以通過瀏覽器 http://localhost:8088 訪問服務了

調試開始

over~~