- 檢查點(checkpointing)可以把微調進度保存下來,這樣可以中途暫停,隨后繼續訓練。
- 首先需要在
Trainer
的參數里添加save_strategy
和save_steps
。
trainer = SFTTrainer(....args = TrainingArguments(....output_dir = "outputs",save_strategy = "steps",save_steps = 50,),
)
- 然后在訓練時這樣寫:
trainer_stats = trainer.train(resume_from_checkpoint = True)
這會從最新的檢查點開始繼續訓練。