本次參數

llamafactory-cli train \

??? --stage sft \

??? --do_train True \

??? --model_name_or_path /home/qhyz/zxy/LLaMA-Factory/model \

??? --preprocessing_num_workers 16 \

??? --finetuning_type lora \

??? --template deepseek3 \

??? --flash_attn fa2 \

??? --dataset_dir data \

??? --dataset knowledge \

??? --cutoff_len 4096 \

??? --learning_rate 1e-04 \

??? --num_train_epochs 3.0 \

??? --max_samples 70309 \

??? --per_device_train_batch_size 2 \

??? --gradient_accumulation_steps 12 \

??? --lr_scheduler_type cosine \

??? --max_grad_norm 1.0 \

??? --logging_steps 5 \

??? --save_steps 100 \

??? --warmup_steps 0 \

??? --packing False \

??? --report_to tensorboard --logging_dir single_log6 \

??? --output_dir saves/DeepSeek-R1-7B-Distill/lora/train_6.0 \

??? --bf16 True \

??? --plot_loss True \

??? --trust_remote_code True \

??? --ddp_timeout 180000000 \

??? --include_num_input_tokens_seen True \

??? --optim adamw_torch \

??? --lora_rank 8 \

??? --lora_alpha 16 \

??? --lora_dropout 0.1 \

??? --lora_target q_proj,v_proj \

??? --deepspeed cache/ds_z2_config.json

微調效果：

Q：中藥紅粉介紹

A:

紅粉是一種中藥材。其主要成分有木犀草素，木犀草素甲醚，木犀草素二甲醚，木犀草素三甲醚，木犀草素四甲醚，木犀草素五甲醚，木犀草素二甲醚甲醚，木犀草素二甲醚乙醚，木犀草素二甲醚丙醚，木犀草素二甲醚丁醚等。

以下是紅粉的相關信息：
【類別】化濕藥，化濕散結藥
【性味歸經】苦，平。歸脾、胃、大腸經。
【功效主治】清熱解毒，散結消腫。用于熱毒發泄，熱毒蘊結，癥見口舌生瘡，瘡面紅腫，發熱頭痛，胸膈滿悶，黃疸，痢疾泄瀉，胃痛腹脹，癰腫瘡毒。
【證候】熱毒證
【中醫疾病】瘡面紅腫，發熱，胃痛，黃疸
【配伍應用】黃連，蒲公英，苦參
【方劑舉例】黃連敗毒丸，三黃散，青礞湯，黃連散，黃連解毒湯
【藥理】抗菌，抗腫瘤，利膽，抗病毒
【基因】FNTA，CA4，HSD11B1，CA3，SLC6A1等

效果較前兩次有較大提升，但仍存在不穩定等問題，因此之后會再進行調參以期得到更好的效果