代碼實現
import numpy as np
import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, BatchNormalization, Activation
from tensorflow.keras.optimizers import SGD# 生成隨機數據
np.random.seed(0)
X = np.random.rand(100, 10)
y = np.random.randint(2, size=(100, 1))# 構建神經網絡模型
model = Sequential()# 添加輸入層
model.add(Dense(32, input_dim=10))
model.add(BatchNormalization())
model.add(Activation('relu'))# 添加隱含層
model.add(Dense(64))
model.add(BatchNormalization())
model.add(Activation('relu'))# 添加輸出層
model.add(Dense(1, activation='sigmoid'))# 編譯模型
model.compile(optimizer=SGD(lr=0.01), loss='binary_crossentropy', metrics=['accuracy'])# 訓練模型
model.fit(X, y, epochs=50, batch_size=32)為什么BN會生效
梯度消失問題的緩解：在深度神經網絡中，梯度消失是一個常見的問題，特別是在深層網絡中。批歸一化通過在每個批次內對輸入進行標準化，使得激活函數的輸入分布更穩定，從而減輕了梯度消失問題，使得梯度更容易傳播，促進了訓練過程的穩定性和效率。
加速收斂：由于批歸一化在每個批次內對輸入進行了標準化，網絡的參數可以更快地收斂到合適的范圍，從而加速了訓練的收斂速度。這意味著在相同迭代次數下，批歸一化的網絡可以取得更好的效果。
模型穩定性：批歸一化有助于減少模型在訓練過程中的震蕩，使得網絡更加穩定。它通過對每個批次的統計信息進行標準化，減小了參數的更新幅度，從而減少了訓練過程中的不穩定性。
泛化能力提升：批歸一化對輸入數據的標準化可以使模型對不同尺度、分布的數據更具有魯棒性，從而提高了模型的泛化能力，使其在測試數據上表現更好。
正則化效果：批歸一化在每個批次內引入了一些噪聲，類似于 dropout，有助于模型的正則化，減少過擬合問題。
