1 準備anaconda

#1、安裝包
wget https://repo.anaconda.com/archive/Anaconda3-2024.10-1-Linux-x86_64.sh#2、提高權限
chmod +x  Anaconda3-2024.10-1-Linux-x86_64.sh#3、執行安裝命令
./Anaconda3-2024.10-1-Linux-x86_64.sh#4、一直按Enter健繼續
yes繼續 Enter#5、手動激活初始化
eval "$(/root/anaconda3/bin/conda shell.bash hook)"conda init

2、內網穿透——coplor

注意：路徑應該放在LLaMA-Factory路徑下

cpolar的liinux版本上傳到服務器（下載地址）

將帳戶的authtoken添加到cpolar.yml文件

./cpolar authtoken MThiNzBhMGEtMjJiNi00ZjVlLTgwNDgtZWRhN2Y4MDkyZjY2

選擇需要暴露的端口進行網絡穿透，啟動LLaMA-Factory-webui項目的請求端口為7860

./cpolar 7860

3 LLaMA-Factory

默認端口7860
環境配置
!!為了避免沖突，務必在虛擬環境中配置環境

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"

如果出現環境沖突，請嘗試使用

pip install --no-deps -e .

解決

檢測版本

llamafactory-cli version

啟動WebUI

export USE_MODELSCOPE_HUB=1 && llamafactory-cli webui

理論上通過loaclhost:7860可以訪問，但是我的這個地址仍然不能訪問
通過下面的地址可以打開LlamaFactory的Web端

4、 配置HuggingFace并下載模型

export HF_ENDPOINT=https://hf-mirror.com
export HF_HOME=/mnt/workspace/huggingface
echo $HF_HOME
huggingface-cli download --resume-download deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B
llamafactory-cli webui

進入webUI后先打開加載模型選項卡，確保模型run起來

檢測是否可以正常跑

重啟后conda、coplar配置全都消失🫠
😓