1. 注冊與認證
-
訪問AutoDL官網:前往 AutoDL官網。
-
注冊賬號:完成注冊流程。
-
實名認證:按照要求完成實名認證,以確保賬號的合規性。
2. 選擇GPU資源
-
進入算力市場:在官網首頁點擊“算力市場”菜單。
-
挑選GPU:根據需求選擇合適的GPU資源,例如NVIDIA RTX 4090等。
-
查看配置:確保所選GPU資源的性能滿足訓練需求。
3. 創建實例
-
配置實例:點擊所選GPU進入“創建實例”頁面。
-
選擇鏡像:選取包含深度學習環境的鏡像,避免后續手動配置訓練環境。
-
完成創建:配置完成后,啟動實例。
4. 初始化環境
-
進入JupyterLab:實例啟動后,通過平臺的JupyterLab快捷工具進入。
-
打開終端:在JupyterLab界面點擊“終端”。
5. 配置網絡加速(可選)
在終端中輸入以下代碼進行學術資源加速:
source /etc/network_turbo
6. 克隆LLaMA-Factory項目
-
克隆項目代碼:
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
(
--depth 1
參數用于淺拷貝,僅獲取最新代碼,節省時間和空間)
7. 創建并激活虛擬環境
-
創建虛擬環境:
conda create -n llama_factory python=3.10
-
初始化conda:
source /root/miniconda3/etc/profile.d/conda.sh
-
激活環境:
conda activate llama_factory
8. 安裝依賴
-
進入項目目錄:
cd LLaMA-Factory
-
安裝所需庫:
pip install -r requirements.txt
-
安裝擴展依賴:
pip install -e ".[torch,metrics]"
-
安裝ModelScope庫:
pip install modelscope -U
9. 下載預訓練模型
-
新建Python文件,用于下載預訓練模型。以下是一個示例代碼:
from modelscope import snapshot_downloadmodel_path = "Qwen/Qwen-7B-Chat" # 阿里通義千問7B-chat模型 cache_path = "/root/autodl-tmp" # 模型緩存路徑snapshot_download(model_path, cache_dir=cache_path)
-
運行下載腳本:
python download.py
10. 啟動微調平臺UI界面
在終端中輸入以下代碼,使用GPU開啟微調平臺的UI界面:
CUDA_VISIBLE_DEVICES=0 python src/webui.py &
11. 微調模型
-
進入WebUI界面:通過瀏覽器訪問微調平臺的UI界面。(可提前下載SSH工具代理到本地端口https://autodl-public.ks3-cn-beijing.ksyuncs.com/tool/AutoDL-SSH-Tools.zip)
-
選擇模型:在WebUI中選擇已下載的預訓練模型(如通義千問7B-chat)。
-
配置微調參數:根據需求設置微調的超參數(如學習率、批次大小、訓練輪數等)。
-
開始微調:點擊“開始微調”按鈕,啟動微調過程。
12. 測試與驗證
-
加載微調后的模型:在WebUI中加載微調后的模型。
-
進行對話測試:通過輸入測試問題,驗證模型的對話能力是否滿足預期。
13. 保存與導出
-
保存微調模型:將微調后的模型保存到指定路徑。
-
導出模型:根據需要導出模型文件,用于后續部署或進一步優化。