快速掌握Dify+Chrome MCP：打造網頁操控AI助手

你是否曾經希望那些強大的開源大模型能更貼合你的專業領域，或者學會模仿你的行文風格？其實，實現這個目標的關鍵就在于“微調”。曾幾何時，微調模型是大公司的專屬游戲——動不動就需要幾十張GPU和復雜的分布式訓練技術。

而現在，借助 Ollama 和豐富的 Python 工具鏈，一切都變得簡單多了。只需要一張消費級顯卡，甚至直接用CPU，用不了一個小時，你就能親手微調出屬于自己的模型——這篇文章就會帶你一步步實現它。

準備工作：安裝核心工具

在開始之前，我們需要準備好兩樣核心工具：

Ollama: 用于本地拉取、運行和管理大模型。
Python 環境: 用于準備微調數據和執行微調腳本。

步驟一：安裝 Ollama訪問 Ollama 官網 (https://ollama.com)，根據你的操作系統 (Windows/macOS/Linux) 下載并安裝。安裝完成后，打開終端/命令提示符，拉取一個我們要微調的基礎模型，例如小巧高效的 Llama 2：

ollama pull llama2

步驟二：創建 Python 環境并安裝庫創建一個新的項目目錄，然后建立一個 Python 虛擬環境（推薦），并安裝必要的庫。

# 創建項目目錄 mkdir ollama-finetune-tutorial cd ollama-finetune-tutorial # 創建虛擬環境 (可選但推薦) python -m venv .venv # 激活虛擬環境 # On Windows: .venv\Scripts\activate # On macOS/Linux: source .venv/bin/activate # 安裝核心庫 pip install transformers datasets peft huggingface_hub # 用于后續格式轉換和推送 pip install ollama

第一步：準備微調數據

微調的成功很大程度上取決于數據。數據不需要多，但需要“精”和“相關”。我們以“讓模型學會用莎士比亞的風格寫作”為例。

創建一個名為 data.jsonl 的文件，每行是一個 JSON 對象，包含 prompt（指令）和 completion（期望的回復）。

{"prompt": "Write a poem about the sun:", "completion": "Hark! The golden eye of heaven doth rise,"} {"prompt": "What is love?", "completion": "Love is a smoke made with the fume of sighs,"} {"prompt": "Describe the sea.", "completion": "The vasty deep, a restless field of salt and sorrow,"}

提示：對于實際任務，你可以準備問答對、指令-回復對，或者任何你希望模型學習的文本格式。數據量從幾十條到幾千條均可。

第二步：轉換數據格式

Ollama 的微調需要一種特定的格式。我們需要將上面的 data.jsonl 轉換為一個 .parquet 文件。創建一個名為 convert_to_parquet.py 的腳本：

import json import pandas as pd from datasets import Dataset # 讀取我們準備的 jsonl 文件 data = [] with open('data.jsonl', 'r') as f: ? ?for line in f: ? ? ? ?data.append(json.loads(line)) # 轉換為 Hugging Face Dataset 格式 df = pd.DataFrame(data) dataset = Dataset.from_pandas(df) # 保存為 Parquet 格式，這是 Ollama 微調所需的 dataset.to_parquet('fine_tuning_data.parquet')

運行這個腳本：

python convert_to_parquet.py

現在你的目錄下會生成一個 fine_tuning_data.parquet 文件。

第三步：執行微調！

這是最激動人心的一步。Ollama 的命令行工具直接支持微調。打開終端，確保你在項目根目錄下，然后運行以下命令：

ollama create my-shakespeare-model -f Modelfile

這里的 my-shakespeare-model 是你自定義的新模型名字，Modelfile 是一個配置文件。我們需要先創建這個 Modelfile。

創建一個名為 Modelfile 的文件（無后綴），內容如下：

FROM llama2 # 指定基礎模型 TEMPLATE """[INST] {{ .Prompt }} [/INST] {{ .Response }} </s>""" # 使用與Llama2匹配的對話模板 PARAMETER stop "[INST]" PARAMETER stop "[/INST]" SYSTEM """You are William Shakespeare. Respond to all prompts in the style of the Bard of Avon.""" ADAPTER ./fine_tuning_data.parquet # 指向我們的微調數據

關鍵解釋：

FROM: 指定從我們之前拉取的 llama2 模型開始微調。
TEMPLATE: 定義了模型如何理解輸入和輸出。這里的格式與 Llama 2 的指令格式保持一致。
SYSTEM: 給模型一個系統級別的角色設定。
ADAPTER: 這是核心，它告訴 Ollama 使用我們準備好的 fine_tuning_data.parquet 文件來進行微調。

現在，再次運行微調命令：

ollama create my-shakespeare-model -f Modelfile

終端會開始輸出日志。你會看到模型正在被訓練。這個過程的速度取決于你的數據大小和電腦硬件（GPU/CPU）。對于示例中的幾條數據，幾乎是瞬間完成的。

第四步：測試你的微調模型

微調完成后，你就可以像使用任何其他 Ollama 模型一樣使用它了！

在終端中直接運行：

ollama run my-shakespeare-model >>> Write a poem about Python code.

或者，用 Python 代碼來調用：

import requests import json # 設置 Ollama 服務器的本地 API 地址 url = 'http://localhost:11434/api/generate' # 準備請求數據 data = { ? ?"model": "my-shakespeare-model", # 使用你剛創建的模型名 ? ?"prompt": "What is the meaning of life?", ? ?"stream": False } # 發送 POST 請求 response = requests.post(url, json=data) # 解析并打印結果 result = response.json() print(result['response'])

預期效果： 此時，模型回答“生命的意義是什么？”這個問題時，不再是用它原本的風格，而是會嘗試模仿莎士比亞的戲劇性、詩歌化的語言風格。

總結與進階

恭喜！你已經成功完成了第一次 LLM 微調。這個過程的核心流程可以總結為：

準備數據 -> 2. 轉換格式 -> 3. 編寫 Modelfile -> 4. 執行 ollama create

下一步你可以嘗試：

領域知識微調：準備你所在行業（如法律、醫療、編程）的問答數據，打造一個專業顧問。
風格模仿：提供大量某個作家或你自己的寫作樣本，讓模型學會這種文風。
使用更多數據：嘗試更大的數據集，體驗模型能力更顯著的變化。
調整參數：在 Modelfile 中，你還可以添加 PARAMETER num_epochs 10 這樣的語句來控制訓練輪數，可能會獲得更好的效果（但也要小心過擬合）。

微調不再遙不可及。借助 Ollama 和 Python，每個人都可以輕松地打造出更貼心、更專業的專屬大語言模型。現在，就快去用你的數據創造獨一無二的AI吧！