目錄

nn.CrossEntropyLoss

CosineAnnealingLR

---

nn.CrossEntropyLoss

loss_func = nn.CrossEntropyLoss(reduction="sum")

定義nn.CrossEntropyLoss交叉熵損失函數，reduction參數設置為"sum"，表示將所有樣本的損失相加。reduction 參數用于指定如何對損失進行歸約，有三個可能的值："none"、"mean" 和 "sum"。選擇=“sum”，即輸出損失將被求和。由于分批處理數據，因此將返回每批數據的損失值之和。

CosineAnnealingLR

lr_scheduler = CosineAnnealingLR(opt,T_max=2,eta_min=1e-5)

創建學習率調度器，T_max表示周期長度，eta_min表示最小學習率。該調度器基于cosine annealing schedule余弦退火方法來調整學習率。余弦退火學習率調整策略是一種常用的學習率調整策略，它會在訓練過程中逐漸減小學習率，直到達到一個最小值。這里的學習率將從優化器設定值lr=1e-4開始，逐漸向最小值eta_min=1e-5減小，并在2*T_max=4次迭代中返回到原始設定值。