歸一化和激活函數區別
歸一化和激活函數是深度學習中兩個不同但又存在關聯的技術，前者聚焦于“數據分布的調整”，后者聚焦于“引入非線性與輸出轉換”。
Softmax 既可以被視為一種歸一化操作，也屬于激活函數
因為它同時滿足兩者的核心特征，只是從不同角度定義：從“輸出概率分布”的角度看是歸一化，從“神經網絡輸出層轉換”的角度看是激活函數。
一、為什么說 Softmax 是歸一化？
歸一化的核心是“將數據轉換為特定范圍（通常總和為1或落在固定區間），便于比較或計算”。Softmax 完全符合這一特征：
- 它將任意實數向量（如模型輸出的 logits）轉換為 “總和為1的概率分布”（每個元素在 (0,1) 之間，且所有元素之和為1）；
- 這種轉換本質是一種“概率歸一化”——通過指數運算放大差異，再通過歸一化讓結果可解釋為“屬于每個類別的可能性”。
例如，輸入 logits 為 [2, 1, 0]，Softmax 輸出為 [0.665, 0.244, 0.091]，三者之和為1，完成了從“原始數值”到“概率分布”的歸一化。
)
