本文詳解深度學習中常見的歸一化方法。
【歸一化是將數據按比例縮放，使之落入一個特定的區間】

1. 批量歸一化（Batch Normalization，BN）

1.1 數學原理

對于一個包含$m$個樣本的小批量數據 x = { x ( 1 ) , x ( 2 ) , ? , x ( m ) } x = \{x^{(1)}, x^{(2)}, \cdots, x^{(m)}\} x={x(1),x(2),?,x(m)}， 在第$k$個特征維度上，批量歸一化的步驟如下：

1. 計算該維度上的均值${\mu }_k$:
   ${\mu }_k=\frac{1}{m}{\sum }_{i=1}^m{x}_k^{(i)}$

2. 計算該維度上的方差${\sigma }_k^2$:
   ${\sigma }_k^2=\frac{1}{m}{\sum }_{i=1}^m(x_k^{(i)}?{\mu }_k{)}^2$

3. 對該維度上的每個樣本進行歸一化:
   ${\hat{x}}_k^{(i)}=\frac{x_k^{(i)}?{\mu }_k}{\sqrt{{\sigma }_k^2+?}}$
   其中 ? 是一個很小的常數，用于防止分母為零

1.2 代碼示例

在 PyTorch 中，可以使用torch.nn.BatchNorm2d來實現批量歸一化：

import torch
import torch.nn as nn# 定義一個批量歸一化層，輸入通道數為3
bn = nn.BatchNorm2d(3)# 模擬一個小批量的圖像數據，形狀為 (batch_size, channels, height, width)
x = torch.randn(16, 3, 32, 32)# 進行批量歸一化
y = bn(x)
print(y.shape)

2. 層歸一化（Layer Normalization，LN）

層歸一化是對單個樣本的所有特征維度進行歸一化。對于一個樣本$x=[x_1,x_2,?,x_n]$, 其歸一化步驟如下：

1. 計算該樣本的均值$\mu$:
   $\mu =\frac{1}{n}{\sum }_{i=1}^n{x}_i$

2. 計算該樣本的方差${\sigma }^2$:
   ${\sigma }^2=\frac{1}{n}{\sum }_{i=1}^n(x_i?\mu {)}^2$

3. 對該樣本的每個特征進行歸一化：
   ${\hat{x}}_i=\frac{x_i?\mu }{\sqrt{{\sigma }^2+?}}$

2.2 代碼示例

在 PyTorch 中，可以使用torch.nn.LayerNorm來實現層歸一化：

import torch
import torch.nn as nn# 定義一個層歸一化層，歸一化的維度為32
ln = nn.LayerNorm(32)# 模擬一個樣本數據，形狀為 (batch_size, sequence_length, features)
x = torch.randn(16, 10, 32)# 進行層歸一化
y = ln(x)
print(y.shape)

3. 實例歸一化（Instance Normalization，IN）

3.1 數學原理

實例歸一化主要用于圖像生成和風格遷移等任務，它是對每個樣本的每個通道分別進行歸一化。對于一個樣本的第$c$個通道的特征圖$x_c$, 其歸一化步驟如下：

1. 計算該通道的均值${\mu }_c$:
   ${\mu }_c=\frac{1}{H\times W}{\sum }_{i=1}^H{\sum }_{j=1}^W{x}_c(i,j)$

其中 $H$和 $W$ 分別是特征圖的高度和寬度。

2. 計算該通道的方差 ${\sigma }_c^2$:
   ${\sigma }_c^2=\frac{1}{H\times W}{\sum }_{i=1}^H{\sum }_{j=1}^W(x_c(i,j)?{\mu }_c{)}^2$

3. 對該通道的每個像素進行歸一化：
   ${\hat{x}}_c(i,j)=\frac{x_c(i,j)?{\mu }_c}{\sqrt{{\sigma }_c^2+?}}$

3.2 代碼示例?

在 PyTorch 中，可以使用torch.nn.InstanceNorm2d來實現實例歸一化：

import torch
import torch.nn as nn# 定義一個實例歸一化層，輸入通道數為3
in_layer = nn.InstanceNorm2d(3)# 模擬一個小批量的圖像數據，形狀為 (batch_size, channels, height, width)
x = torch.randn(16, 3, 32, 32)# 進行實例歸一化
y = in_layer(x)
print(y.shape)