?optimizer.zero_grad() ,用于將模型的參數梯度初始化為0。
#反向計算 loss.backward()#反向傳播計算梯度 optimizer.step()#更新參數,梯度被反向計算之后,調用函數進行所有參數更新 #在反向傳播計算時,梯度的計算是累加,但是每個batch處理時不需要和其它batch混合起來累加計算,所以對每個batch調用zero_grad將參數梯度置0 #如果不是每個batch清理依次梯度,而是兩次或者多次清理,相當于提高了batch批次大小 optimizer.zero_grad()#將模型參數梯度置為0;