數學原理：

(1) 前向傳播的方差一致性

假設輸入 x 的均值為 0，方差為 ${\sigma }_x^2$，權重 W的均值為 0，方差為 ${\sigma }_W^2$，則輸出 $z=Wx$的方差為：
$$Var(z)=n_{in}?Var(W)?Var(x)$$
為了使 Var(z)=Var(x)，需要：
$$n_{in}?Var(W)=1?????Var(W)=\frac{1}{n_{in}}$$
其中 $n_{in}$是輸入維度（fan_in）。這里乘以 nin 的原因是，輸出 z 是由 nin 個輸入 x 的線性組合得到的，每個輸入 x 都與一個權重 W 相乘。因此，輸出 z 的方差是 nin 個獨立的 Wx 項的方差之和。

(2) 反向傳播的梯度方差一致性

在反向傳播過程中，梯度 $\frac{?L}{?x}$ 是通過鏈式法則計算得到的，其中 L 是損失函數，x 是輸入，z 是輸出。梯度$\frac{?L}{?x}$可以表示為：
$$\frac{?L}{?x}=\frac{?L}{?z}.\frac{?z}{?x}$$
假設 z=Wx，其中 W 是權重矩陣，那么 $\frac{?z}{?x}=W$。因此，梯度 $\frac{?L}{?x}$可以寫為： $\frac{?L}{?x}=\frac{?L}{?z}W$

反向傳播時梯度 $\frac{?L}{?x}$ 的方差應與 $\frac{?L}{?z}$ 相同，因此：
$$n_{out}?Var(W)=1?????Var(W)=\frac{1}{n_{out}}$$
其中 $n_{out}$是輸出維度（fan_out）。為了保持梯度的方差一致性，我們需要確保每個輸入維度 nin 的梯度方差與輸出維度 nout 的梯度方差相同。因此，我們需要將 W 的方差乘以 nout，以確保梯度的方差在反向傳播過程中保持一致。

(3) 綜合考慮

為了同時平衡前向傳播和反向傳播，Xavier 采用：
$$Var(W)=\frac{2}{n_{in}+n_{out}}$$
權重從以下分布中采樣：

均勻分布：
$$W～\mathrm{U}\left(?\frac{\sqrt{6}}{\sqrt{n_{\mathrm{in}}+n_{\mathrm{out}}}},\frac{\sqrt{6}}{\sqrt{n_{\mathrm{in}}+n_{\mathrm{out}}}}\right)$$

在Xavier初始化中，我們選擇 $a=?\sqrt{\frac{6}{n_{in}+n_{out}}}$ 和 $b=\sqrt{\frac{6}{n_{in}+n_{out}}}$，這樣方差為：
$$Var(W)=\frac{(b?a{)}^2}{12}=\frac{(2\sqrt{\frac{6}{n_{in}+n_{out}}}{)}^2}{12}=\frac{4?\frac{6}{nin+nout}}{12}=\frac{2}{n_{in}+n_{out}}$$
正態分布：
$$W～\mathrm{N}\left(0,\frac{2}{n_{\mathrm{in}}+n_{\mathrm{out}}}\right)$$

$$\mathcal{N}(0,{\text{std}}^2)$$

其中 $$n_{\text{in}}$$ 是當前層的輸入神經元數量，$$n_{\text{out}}$$是輸出神經元數量。

在前向傳播中，輸出的方差受 $n_{in}$ 影響。在反向傳播中，梯度的方差受 $n_{out}$ 影響。