一、webui的啟動方式
LLaMA-Factory 支持通過 WebUI 零代碼微調大語言模型。 在完成安裝?后,您可以通過以下指令進入 WebUI:
llamafactory-cli webui
使用上面命令啟動服務后,即可使用默認7860端口進行訪問。訪問地址:http://ip:7860,截止:2025年7月11日,頁面結構如下:
二、開始訓練前需設置的基本參數
在開始訓練模型之前,您需要指定的參數有:
- 模型名稱、路徑及模型下載源
- 訓練階段
- 微調方法
- 訓練數據集
- 學習率、訓練輪數等訓練參數
- 微調參數等其他參數
- 輸出目錄及配置路徑
在這里由于我選擇了加速方式為unsloth 所以需要在llama-factory的虛擬環境中執行命令:
pip install unsloth
截止當前我安裝的包版本如下:
并且需要將計算類型選擇”fp16”?否則會報錯,報錯信息如下:
packages/unsloth/kernels/fast_lora.py", line 259, in forward
????Q = matmul_lora(X, QW, QW_quant, QA, QB, QS)
??File "/usr/local/miniconda3/envs/llama-factory/lib/python3.10/site-packages/unsloth/kernels/utils.py", line 703, in matmul_lora
????out = torch_matmul(X, W, out = out)
RuntimeError: expected mat1 and mat2 to have the same dtype, but got: c10::BFloat16 != c10::Half
參數設置如下:
三、開始訓練
至此,即可點擊開始進行模型訓練。訓練完成后,如下圖所示:
后臺日志窗口如下所示: