前言

llama-Factory嘗試使用Ollama本地安裝的大模型。

一、在Ollama中安裝QWen

安裝qwen:0.5b

安裝完成了：

同理安裝qwen2.5:0.5b

安裝完畢后，再用ollama list進行查看：

我們在chatbox中進行查看：

說明這兩個大模型，已經通過Ollama安裝到了本地。

二、試圖在llama-Factory中掛接Ollama中的大模型

Llama-Factory起初啟動的頁面是這樣，這兩個框中是空的：

我們可以在Model Path當中填入Ollama中models的路徑，具體如下：

如上圖，我們驚奇的發現，隨著有些models路徑的填入，左側模型下拉列表也出現了，

我們可以選擇模型了。

于是，我選擇了Qwen2.5:0.5B，如下圖：

選擇自帶的數據集嘗試微調：

會發現一堆錯誤，模型Load失敗，如下圖：

難道是llama-factory不適合從Ollama上加載模型么？

（或者說Ollama已經加載了模型，再用llama-factory來加載，是否造成了沖突）

錯誤的原因主要是：llama-Factory加載的模型需要是huggingface的，從魔搭社區下載比較合適。