使用 PyTorch 的 GradualWarmupScheduler 實現學習率預熱

在深度學習中，學習率（Learning Rate, LR）是影響模型訓練效果的關鍵超參數之一。為了提升模型的收斂速度和穩定性，學習率調度策略變得尤為重要。其中，學習率預熱（Learning Rate Warmup） 是一種常用的策略，它通過在訓練初期逐漸增加學習率，幫助模型更平穩地進入優化過程。本文將介紹學習率預熱的原理、GradualWarmupScheduler 的用法，并提供一個代碼示例。

---

什么是學習率預熱（Learning Rate Warmup）？

學習率預熱是指在訓練初期，將學習率從一個較小的值逐漸增加到預設的初始學習率。這種策略的主要目的是：

1. 避免梯度爆炸：在訓練初期，模型參數可能距離最優解較遠，較大的學習率可能導致梯度爆炸。
2. 穩定訓練過程：通過逐漸增加學習率，模型可以更平穩地適應數據分布。
3. 改善收斂性：