1、開始ModelScope社區GPU環境
訓練或微調模型都是非常耗費算力的。如果電腦的配置不高,可使用一些云服務器來做這項工作。如ModelScope(魔搭)社區的GPU環境,目前提供36小時免費運算,足夠微調一個大模型了。
注冊ModelScope(魔搭)社區賬號(可能還要注冊或認證阿里云賬號),進入“我的NoteBook”:
我的Notebook · 魔搭社區
啟動大概需要2分鐘,等GPU環境啟動好以后點擊"查看NoteBook"進入。
開啟后,會提示永久性數據只保存在/mnt/workspace/目錄下。
魔塔社區內置了JupyterLab的功能,進入之后,可以找到 Notebook 標簽,新建一個Notebook(當然你在terminal 里執行也沒問題)。
如下箭頭所示,點擊即可創建一個新的 Notebook 頁面。
2、克隆LLaMA-Factory
(如果使用本地電腦進行微調,以下步驟都可參考)
打開NoteBook的終端,在默認目錄(/mnt/workspace/)下執行命令:
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
建議使用--depth 1參數,將data及一些示例的訓練數據下載下來,以便修改微調。
3、配置環境
3.1、創建虛擬環境
進入LLaMA-Factory目錄:
cd LLaMA-Factory/
創建虛擬環境:
python -m venv env # env為虛擬環境文件夾名稱,可自定義,如llama-factory-env
激活虛擬環境:NoteBook終端是linux系統,激活虛擬環境命令如下(同macOS):
source env/bin/activate # env為創建的虛擬環境名稱
如果是windows系統,使用如下命令激活虛擬環境:
env\Scripts\activate
注意:重啟NoteBook后,記得先激活虛擬環境!
3.2、安裝依賴
安裝必要的依賴,如:
pip install --upgrade pip # 更新pip
pip install bitsandbytes>=0.39.0
3.3、安裝LLaMA-Factory
使用以下命令安裝:
pip3 install -e ".[torch,metrics]"
4、模型下載測試
4.1、下載模型
首先下載LLM大語言模型,這里使用QWen2.5-0.5B,參數5億個,微調時間短,在低配置電腦上也能運行。
模型在魔搭社區上有,地址是: