概要

LLaMA Factory 是一個簡單易用且高效的大型語言模型訓練與微調平臺。通過它，用戶可以在無需編寫任何代碼的前提下，在本地完成上百種預訓練模型的微調。

1.安裝必要的環境

首先，確保你的 CentOS 系統已經安裝了 Python。LLaMA Factory 需要 Python 3.6 或更高版本。你可以通過以下命令安裝 Python 3（如果尚未安裝）：

sudo yum install -y python3
sudo yum install -y python3-pip

2.安裝 PyTorch

LLaMA Factory 使用 PyTorch 進行模型的訓練和推理，因此你需要安裝 PyTorch。你可以訪問 PyTorch 官方網站 獲取安裝命令。例如，對于 CUDA 11.3 和 Python 3.8，可以使用以下命令

pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu113

3.安裝 Transformers 和 Datasets

LLaMA Factory 使用 Hugging Face 的 transformers 和 datasets 庫。你可以使用 pip 來安裝這些庫：

pip3 install transformers datasets

4.克隆 LLaMA Factory 倉庫和安裝LLaMA Factory

克隆 LLaMA Factory 的 GitHub 倉庫到你的系統中并安裝 LLaMA Factory

git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]" -i https://pypi.tuna.tsinghua.edu.cn/simple

執行 llamafactory-cli version 驗證安裝情況：

[root@VM-0-9-tencentos ~]# whereis llamafactory-cli
llamafactory-cli: /usr/local/bin/llamafactory-cli
[root@VM-0-9-tencentos ~]# /usr/local/bin/llamafactory-cli version
----------------------------------------------------------
| Welcome to LLaMA Factory, version 0.9.4.dev0           |
|                                                        |
| Project page: https://github.com/hiyouga/LLaMA-Factory |
----------------------------------------------------------
[root@VM-0-9-tencentos ~]# 

依賴安裝完成后，執行：llamafactory-cli webui，可以啟動 LLaMa Factory 的 webui：

llamafactory-cli webui

可以使用下面的命令啟動，即使會話關閉了，UI界面仍可以訪問：

nohup llamafactory-cli webui > llamafactory.log 2>&1 &

UI界面啟動成功，使用 IP:7860 端口進行訪問

到此，LLaMA Factory在linux服務器上的安裝就完成了。

5.準備數據和模型配置

在開始訓練之前，你需要準備數據集和配置文件。這通常包括下載數據集、編寫配置文件等。你可以參考 LLaMA Factory 的 GitHub 倉庫中的說明來準備這些資源。

6.運行 LLaMA Factory

一切準備就緒后，你可以運行 LLaMA Factory 來訓練你的模型。通常，這涉及到運行一個 Python 腳本來啟動訓練過程

python3 train.py --config config.json

確保 config.json 是你的配置文件路徑，其中包含了所有必要的設置。

7.監控和調整

在訓練過程中，監控模型的性能并根據需要進行調整。你可以使用 TensorBoard 或其他工具來監控訓練過程。

8.后續步驟

一旦模型訓練完成，你可以使用它進行推理或進一步優化。確保保存好你的模型和相關的元數據以便后續使用。

以上就是在 CentOS 上安裝和使用 LLaMA Factory 的基本步驟。如果你遇到任何問題，可以查看 LLaMA Factory 的 GitHub 倉庫中的文檔或尋求社區的幫助。