1、開始ModelScope社區GPU環境

訓練或微調模型都是非常耗費算力的。如果電腦的配置不高，可使用一些云服務器來做這項工作。如ModelScope(魔搭)社區的GPU環境，目前提供36小時免費運算，足夠微調一個大模型了。

注冊ModelScope(魔搭)社區賬號（可能還要注冊或認證阿里云賬號），進入“我的NoteBook”：

我的Notebook · 魔搭社區

啟動大概需要2分鐘，等GPU環境啟動好以后點擊"查看NoteBook"進入。

開啟后，會提示永久性數據只保存在/mnt/workspace/目錄下。

魔塔社區內置了JupyterLab的功能，進入之后，可以找到 Notebook 標簽，新建一個Notebook(當然你在terminal 里執行也沒問題)。

如下箭頭所示，點擊即可創建一個新的 Notebook 頁面。

2、克隆LLaMA-Factory

（如果使用本地電腦進行微調，以下步驟都可參考）

打開NoteBook的終端，在默認目錄（/mnt/workspace/）下執行命令：

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git

建議使用--depth 1參數，將data及一些示例的訓練數據下載下來，以便修改微調。

3、配置環境

3.1、創建虛擬環境

進入LLaMA-Factory目錄：

cd LLaMA-Factory/

創建虛擬環境：

python -m venv env  #　env為虛擬環境文件夾名稱，可自定義，如llama-factory-env

激活虛擬環境：NoteBook終端是linux系統，激活虛擬環境命令如下（同macOS）：

source env/bin/activate # env為創建的虛擬環境名稱

如果是windows系統，使用如下命令激活虛擬環境：

env\Scripts\activate

注意：重啟NoteBook后，記得先激活虛擬環境！

3.2、安裝依賴

安裝必要的依賴，如：

pip install --upgrade pip     # 更新pip
pip install bitsandbytes>=0.39.0 

3.3、安裝LLaMA-Factory

使用以下命令安裝：

pip3 install -e ".[torch,metrics]"

4、模型下載測試

4.1、下載模型

首先下載LLM大語言模型，這里使用QWen2.5-0.5B，參數5億個，微調時間短，在低配置電腦上也能運行。

模型在魔搭社區上有，地址是：