ollama遷移已下載的單個模型到服務器
場景
ollama是面向用戶級的,部署和運行都很簡單,是否高效就另說了。但最起碼,他能充分利用用戶的硬件設備,在GPU不足也能調用cpu和內存去加持。
ollama運行的模型基本是量化版本的,一般是Q4_K_M,也就是說正常部署一個14b模型是需要40G左右的顯存,經過這么一量化,只需要10G顯存就差不多了,雖然效果欠缺了很多哈。
模型文件很大,而且要鏈接ollama的服務器,基本事業單位都不行。那如何把電腦下載的模型拷貝運行就很重要了,這個教程就是解決這個問題。
方案
- 聯網的電腦傻瓜式安裝ollama
- 拉取鏡像,執行下面命令:
ollama pull qwen2.5:14b
- 下載完成后,執行下面命令,導出配置文件manifest:
ollama show --modelfile qwen2.5:14b > ./Modelfile
- 配置文件Modelfile生成在當前目錄下, 用文本打開如下:
- 按指向的位置,拷貝模型文件。
- 把模型文件和配置文件一起拷貝到目標服務器。
- 在目標服務器修改配置文件的模型文件路徑(填寫實際路徑,看上面步驟截圖標紅框部分)。
- 在目標機器執行以下命令進行模型文件載入。
ollama create mymodelname -f ./Modelfile
- 到這里就遷移成功了,可以ollama list查一下了。
結語
其他博客一堆直接找blobs和manifests文件夾拷貝的方法很不靠譜,會出現各種異常,尤其是windows\linux字符問題。而我們這種方式基本等于手動加載模型,還能命名模型。