在神經網絡或機器學習的線性層（Linear Layer / Fully Connected Layer）中，經常會見到兩種形式的公式：

• 數學文獻或傳統線性代數寫法：$y=Wx+b$
• 一些深度學習代碼中寫法：$y=x{W}^T+b$

初次接觸時，很多人會覺得兩者“方向”不太一樣，不知該如何對照理解；再加上矩陣維度 $(\text{in\_features},\text{out\_features})$ 和 $(\text{out\_features},\text{in\_features})$ 的各種寫法常常讓人疑惑不已。本文將從數學角度和編程實現角度剖析它們的關系，并結合實際示例指出一些常見的坑與需要特別留意的下標對應問題。

1. 數學角度：$y=Wx+b$

在線性代數中，如果我們假設輸入 $x$ 是一個列向量，通常會寫作 $x\in {\mathbb{R}}^{(\text{in\_features})}$（或者在更嚴格的矩陣形狀記法下寫作 $(\text{in\_features},1)$）。那么一個最常見的全連接層可以表示為：

$$y=Wx+b,$$

其中：

• $W$ 是一個大小為 $(\text{out\_features},\text{in\_features})$ 的矩陣；
• $b$ 是一個 $\text{out\_features}$-維的偏置向量（形狀 $(\text{out\_features},1)$）；
• $y$ 則是輸出向量，大小為 $\text{out\_features}$。

示例

假設 $\text{in\_features}=3$，$\text{out\_features}=2$。那么：
$$W\in {\mathbb{R}}^{2\times 3},x\in {\mathbb{R}}^{3\times 1},b\in {\mathbb{R}}^{2\times 1}.$$

矩陣寫開來就是：

$$W=\left[\begin{array}{ccc}{w}_{11}& w_{12}& w_{13}\\ w_{21}& w_{22}& w_{23}\end{array}\right],x=\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right],b=\left[\begin{array}{c}{b}_1\\ b_2\end{array}\right].$$

那么線性變換結果 $Wx+b$ 可以展開為：

$$\begin{array}{rl}Wx+b& =\left[\begin{array}{c}{w}_{11}{x}_1+w_{12}{x}_2+w_{13}{x}_3\\ w_{21}{x}_1+w_{22}{x}_2+w_{23}{x}_3\end{array}\right]+\left[\begin{array}{c}{b}_1\\ b_2\end{array}\right]\\ & =\left[\begin{array}{c}{w}_{11}{x}_1+w_{12}{x}_2+w_{13}{x}_3+b_1\\ w_{21}{x}_1+w_{22}{x}_2+w_{23}{x}_3+b_2\end{array}\right].\end{array}$$

這就是最傳統、在數學文獻或線性代數課程中最常見的表示方法。

---

2. 編程實現角度：$y=x{W}^T+b$

在實際的深度學習代碼（例如 PyTorch、TensorFlow）中，經常看到的卻是下面這種寫法：

y = x @ W.T + b

注意這里 W.shape 通常被定義為 $(\text{out\_features},\text{in\_features})$，而 x.shape 在批量處理時則是 $(\text{batch\_size},\text{in\_features})$。于是 (x @ W.T) 的結果是 $(\text{batch\_size},\text{out\_features})$。

為什么會出現轉置？
因為在數學里我們通常把 $x$ 當作“列向量”放在右邊，于是公式變成 $y=Wx+b$。
但在編程里，尤其是處理批量輸入時，x 常寫成“行向量”的形式 $(\text{batch\_size},\text{in\_features})$，這就造成了在進行矩陣乘法時，需要將 W（大小 $(\text{out\_features},\text{in\_features})$）轉置成 $(\text{in\_features},\text{out\_features})$，才能滿足「行×列」的匹配關系。

從結果上來看，

$$(\text{batch\_size},\text{in\_features})\times (\text{in\_features},\text{out\_features})=(\text{batch\_size},\text{out\_features}).$$

所以，在代碼里就寫成 x @ W.T，再加上偏置 b（通常會廣播到 $\text{batch\_size}$ 那個維度）。

本質上這和數學公式里 $y=Wx+b$ 并無沖突，只是一個“列向量”和“行向量”的轉置關系。只要搞清楚最終你想讓輸出 $y$ 的 shape 是多少，就能明白在代碼里為什么要寫 .T。

---

3. 常見錯誤與易混點解析

有些教程或文檔，會不小心寫成：“如果我們有一個形狀為 $(\text{in\_features},\text{out\_features})$ 的權重矩陣 $W$……”——然后又要做 $Wx$，想得到一個 $\text{out\_features}$-維的結果。但按照線性代數的常規寫法，行數必須和輸出維度匹配、列數必須和輸入維度匹配。所以 正確 的說法應該是

$$W\in {\mathbb{R}}^{(\text{out\_features})\times (\text{in\_features})}.$$

否則從矩陣乘法次序來看就對不上。
但這又可能讓人迷惑：為什么深度學習框架 torch.nn.Linear(in_features, out_features) 卻給出 weight.shape == (out_features, in_features)？ 其實正是同一個道理，它和上面“數學文獻里”用到的 $W$ 形狀完全一致。

---

4. 小結

1. 從數學角度：
   最傳統的記號是
   $$y=Wx+b,W\in {\mathbb{R}}^{(\text{out\_features})\times (\text{in\_features})},x\in {\mathbb{R}}^{(\text{in\_features})},y\in {\mathbb{R}}^{(\text{out\_features})}.$$

2. 從深度學習代碼角度：

   • 由于批量數據常被視為行向量，每一行代表一個樣本特征，因此形狀通常是 $(\text{batch\_size},\text{in\_features})$。
   • 對應的權重 W 定義為 $(\text{out\_features},\text{in\_features})$。為了完成行乘以列的矩陣運算，需要對 W 做轉置：

     y = x @ W.T + b
     

   • 得到的 y.shape 即 $(\text{batch\_size},\text{out\_features})$。

3. 避免踩坑：

   • 寫公式時，仔細確認 $\text{in\_features}$、$\text{out\_features}$ 的位置以及矩陣行列順序。
   • 編程實踐中理解“為什么要 .T”非常重要：那只是為了匹配「行×列」的矩陣乘法規則，本質上還是和 $y=Wx+b$ 相同。

通過理解并區分“列向量”與“行向量”的不同慣例，避免因為矩陣維度或轉置不當而導致莫名其妙的錯誤或 bug。

---

參考鏈接

• PyTorch 文檔：torch.nn.Linear
• 深度學習中的矩陣運算初步 —— batch_size 與矩陣乘法
• 常見線性代數符號：行向量與列向量

---