在 PyTorch 中，requires_grad=True 是一個非常重要的標志，它指示 PyTorch 是否需要為某個張量計算梯度。這在訓練神經網絡時尤為關鍵，因為我們通常需要通過反向傳播來更新模型參數，以最小化損失函數。

requires_grad=True 的作用

當你將 requires_grad=True 設置給一個張量時，PyTorch 會開始跟蹤該張量上的所有操作，以便在你調用 backward() 方法時自動計算梯度。這些梯度將存儲在張量的 .grad 屬性中。

示例

以下是一個簡單的示例，展示如何使用 requires_grad=True：

import torch# 創建一個張量，并設置 requires_grad=True
x = torch.tensor([1.0, 2.0, 3.0], requires_grad=True)# 執行一些操作
y = x * 2
z = y.mean()# 計算梯度
z.backward()# 打印 x 的梯度
print(x.grad)  # 輸出: tensor([0.6667, 0.6667, 0.6667])

在這個示例中：

1. 創建了一個張量 x，并設置 requires_grad=True。
2. 執行了一些操作來計算 y 和 z。
3. 調用了 z.backward() 來計算梯度。
4. 打印 x 的梯度，結果為 tensor([0.6667, 0.6667, 0.6667])。

應用場景

1. 訓練神經網絡：在訓練神經網絡時，模型參數（如權重和偏置）通常需要計算梯度，以便在每次訓練迭代中進行參數更新。
2. 凍結部分網絡層：有時，你可能希望凍結網絡中的某些層，這意味著這些層的參數不需要計算梯度。在這種情況下，可以設置這些參數的 requires_grad=False。

示例：凍結部分網絡層

以下是一個示例，展示如何凍結部分網絡層的參數：

import torch
import torch.nn as nnclass SimpleNN(nn.Module):def __init__(self):super(SimpleNN, self).__init__()self.fc1 = nn.Linear(4, 3)self.fc2 = nn.Linear(3, 2)self.fc3 = nn.Linear(2, 1)def forward(self, x):x = self.fc1(x)x = torch.relu(x)x = self.fc2(x)x = torch.relu(x)x = self.fc3(x)return x# 實例化神經網絡
model = SimpleNN()# 凍結 fc1 層的參數
for param in model.fc1.parameters():param.requires_grad = False# 打印每個參數的 requires_grad 狀態
for name, param in model.named_parameters():print(f"層名稱: {name} - requires_grad: {param.requires_grad}")

輸出示例

層名稱: fc1.weight - requires_grad: False
層名稱: fc1.bias - requires_grad: False
層名稱: fc2.weight - requires_grad: True
層名稱: fc2.bias - requires_grad: True
層名稱: fc3.weight - requires_grad: True
層名稱: fc3.bias - requires_grad: True

在這個示例中，fc1 層的參數被凍結了，因此它們的 requires_grad 狀態被設置為 False。

總結

• requires_grad=True 告訴 PyTorch 為該張量計算梯度。
• 這在訓練神經網絡時至關重要，因為需要通過反向傳播更新模型參數。
• 可以通過設置 requires_grad=False 來凍結某些層的參數，使其在訓練過程中保持不變。

理解和使用 requires_grad 可以幫助你更好地控制模型訓練過程和參數更新。