🟩 1. 數據張量(特征圖)維度
這是我們喂進網絡或從網絡中出來的“實際數據”。
類型 | 維度格式 | 舉例 | 說明 |
---|---|---|---|
圖像/特征圖 | (B, C, H, W) | (4, 3, 32, 32) | PyTorch中最常用的數據布局(NCHW) |
圖像/特征圖(TensorFlow風格) | (B, H, W, C) | (4, 32, 32, 3) | TF/Keras默認的數據格式(NHWC) |
序列數據 | (B, T, D) | (4, 100, 512) | B=batch, T=時間步數, D=特征維度(比如RNN、Transformer輸入) |
🟨 2. 卷積層的權重張量維度
這些是參數層的權重,不是輸入輸出數據!
類型 | 維度格式 | 舉例 | 含義 |
---|---|---|---|
1D 卷積 | (out_channels, in_channels, kernel_size) | (64, 32, 3) | 只沿時間軸卷積 |
2D 卷積 | (out_channels, in_channels, kH, kW) | (64, 3, 3, 3) | 最常見 |
3D 卷積 | (out_channels, in_channels, D, H, W) | (64, 3, 3, 3, 3) | 用于體積數據/視頻等 |
🟦 3. 全連接層(Linear)維度
類型 | 權重形狀 | 舉例 | 含義 |
---|---|---|---|
FC 層權重 | (out_features, in_features) | (5, 192) | 5個輸出神經元,從192維輸入接收信號 |
輸入數據 | (batch_size, in_features) | (4, 192) | 每個樣本是1個向量 |
輸出數據 | (batch_size, out_features) | (4, 5) | 每個樣本輸出一個向量 |
🟧 4. 注意力機制中矩陣維度(尤其是 Transformer)
矩陣 | 維度格式 | 舉例 | 說明 |
---|---|---|---|
Query / Key / Value | (B, heads, T, d_k) | (4, 8, 100, 64) | 多頭注意力中每一頭的特征維度 |
Attention 權重矩陣 | (B, heads, T_q, T_k) | (4, 8, 100, 100) | 每個query對所有key的注意力分數 |
Output | (B, T, d_model) | (4, 100, 512) | 每個時間步最終的編碼結果 |
🟥 5. RNN / LSTM / GRU 輸入輸出維度
類型 | 維度 | 舉例 | 說明 |
---|---|---|---|
輸入數據 | (seq_len, batch, input_size) | (100, 4, 128) | PyTorch默認格式 |
輸出 | 同輸入 | (100, 4, hidden_size) | 每一步的輸出 |
hidden / cell | (num_layers × num_directions, batch, hidden_size) | (2, 4, 128) | LSTM/GRU的隱藏狀態 |
🟪 6. BatchNorm 層的參數維度
類型 | 參數形狀 | 說明 |
---|---|---|
BatchNorm1d | (C,) | 用于線性層或1D卷積輸出的每個通道 |
BatchNorm2d | (C,) | 對應于每個圖像通道 |
BatchNorm3d | (C,) | 視頻/體數據的每個通道 |