卷積
- dim=d的tensor可以進行torch.nn.Convnd(in_channels,out_channels),其中n=d-1,d-2
- 對于torch.nn.Convnd(in_channels,out_channels),改變的是tensor的倒數n+1維的大小
全連接
- 使用torch.nn.Linear(in_features,out_features,bias)實現
- Y=XWT +b,其中X 的形狀為 (batch_size,in_features),而 W T的形狀為 (in_features,out_features),b 的形狀為 (out_features),在加法操作中會自動擴展為 (batch_size,out_features)。
- 在 PyTorch 中,torch.nn.Linear 的權重矩陣W不需要手動設置,它會在初始化時自動生成并進行默認的初始化,使用均勻分布或正態分布(由參數設定)
- 偏置向量 b 默認為全零