參考

4.2 模型參數的訪問、初始化和共享

在3.3節(線性回歸的簡潔實現)中,我們通過init模塊來初始化模型的參數。我們也介紹了訪問模型參數的簡單方法。本節將深入講解如何訪問和初始化模型參數,以及如何在多個層之間共享同一份模型參數。

import torch
from torch import nn
from torch.nn import initnet = nn.Sequential(nn.Linear(4,3), nn.ReLU(), nn.Linear(3, 1))print(net)
X = torch.rand(2, 4)
Y = net(X).sum()

4.2.1 訪問模型的參數

回憶上一節中提到的Sequential類與Module類的繼承關系。對于Sequential實例中含模型參數的層,我們可以通過Module類的parameters()或者named_parameters方法來訪問所有參數(以迭代器的形式返回),后者除了返回參數Tensor外還會返回其名字

print(type(net.named_parameters()))
for name, param in net.named_parameters():print(name, param.size())

可見返回的名字自動加上了層數的索引作為前綴。我們再來訪問net中單層的參數。對于使用Sequential類構造的神經網絡,我們可以通過方括號[]來訪問網絡的任一層。索引0表示隱藏層為Sequential實例最先添加的層.

for name, param in net[0].named_parameters():print(name, param.size(), type(param))

# 如果一個Tensor是Parameter,那么它會自動被添加到模型的參數列表里
class MyModel(nn.Module):def __init__(self, **kwargs):super(MyModel, self).__init__(**kwargs)self.weight1 = nn.Parameter(torch.rand(20, 20))self.weight2 = torch.rand(20, 20)def forward(self, x):passn = MyModel()
for name, param in n.named_parameters():print(name)

# 上面代碼中weight1在參數列表中,但是weight2卻沒在參數列表中
# 因為Parameters是Tensor,即Tensor擁有的屬性它都有,比如可以根據data來訪問參數數值,用grad來訪問參數梯度
weight_0 = list(net[0].parameters())[0]  # 將第0層的W取出
print(net)
print(weight_0)
print(weight_0.grad)   # 此時并未對Y做梯度下降,因此會顯示None
Y.backward()
print(weight_0.grad)

4.2.2 初始化模型參數

在下面的例子中,我們將權重參數初始化為均值為0、標準差為0.01的正態分布隨機數,并依然將偏差參數清零。

for name, param in net.named_parameters():if 'weight' in name:init.normal_(param, mean=0, std=0.01)print(name, param.data)

# 使用常數來初始化權重參數
for name, param in net.named_parameters():if 'bias' in name:init.constant_(param, val=0)print(name, param.data)

4.2.3 自定義初始化方法

有時候我們需要的初始化方法并沒有在init模塊中提供。這時,可以實現一個初始化方法,從而能夠像使用其他方法那樣使用它。

# 我們先看看pytorch如何實現的
def normal_(tensor, mean=0, std= 1):with torch.no_grad:return tensor.normal_(mean, std)

可以看到這就是一個inplace改變Tensor值的函數，而且這個過程是不記錄梯度的。 類似的我們來實現一個自定義的初始化方法。在下面的例子里，我們令權重有一半概率初始化為0，有另一半概率初始化為[?10,?5]和[5,10]兩個區間里均勻分布的隨機數。

def init_weight_(tensor):with torch.no_grad():tensor.uniform_(-10, 10)tensor *= (tensor.abs() >= 5).float()for name, param in net.named_parameters():if 'weight' in name:init_weight_(param)print(name, param.data)

4.2.4 共享模型參數

在有些情況下,我們希望在多個層之間共享模型參數。下面來看一個例子

linear = nn.Linear(1, 1, bias=False)
net = nn.Sequential(linear, linear)
print(net)for name, param in net.named_parameters():init.constant_(param, val = 3)print(name, param.data)

# 在內存中,這兩個線性層其實是一個對象
print(id(net[0]) == id(net[1]))
print(id(net[0].weight) == id(net[1].weight))

# 因為模型參數里包含了梯度,所以在反向傳播時,這些共享的參數的梯度是累加的
x = torch.ones(1, 1)
y = net(x).sum()
print(y)
y.backward()
print(net[0].weight.grad)