在深度學習中，模型的構建和訓練過程中會用到多種函數，這些函數在數據處理、模型定義、損失計算、激活以及優化等方面發揮著重要作用。以下是一些常見的深度學習模型中用到的函數：

1. 激活函數

• Sigmoid函數：Sigmoid函數是一種非線性函數，它將任意實值壓縮到0和1之間，通常用于二分類問題的輸出層。其數學形式為Sigmoid(x) = 1 / (1 + e^(-x))。然而，Sigmoid函數存在梯度消失和計算速度較慢的問題（參考文章2）。
• Tanh函數：Tanh函數也是S形曲線，但與Sigmoid函數不同，其輸出范圍是-1到1之間，且以0為中心。它通常用于隱藏層，有助于權重更新（參考文章2）。
• ReLU函數：ReLU（Rectified Linear Unit）函數是目前較為流行的激活函數之一，它在輸入為正時輸出為輸入本身，輸入為負時輸出為0。ReLU函數具有計算速度快的優點，但也存在DeadReLU問題（參考文章2）。
• LeakyReLU函數：LeakyReLU是對ReLU函數的改進，它在負值域加入了一個較小的線性分量，避免了DeadReLU問題（參考文章2）。
• ELU函數：ELU（Exponential Linear Unit）函數在負值區域有一個小的負斜率，使得輸出的平均值接近于零，有助于加速學習過程（參考文章2）。
• PReLU函數：PReLU（Parametric Rectified Linear Unit）是ReLU函數的另一種改進，它引入了一個可學習的參數α來調整負值區域的斜率（參考文章2）。
• Softmax函數：Softmax函數用于多分類問題，它將模型的輸出轉化為概率分布，使得所有類別的概率總和為1（參考文章3）。

2. 損失函數

• MSE（Mean Squared Error）損失函數：用于回歸問題，計算預測值與真實值之間差的平方的均值（參考文章1）。
• 交叉熵損失函數：常用于分類問題，特別是與Softmax函數結合使用時，用于衡量真實分布和預測分布之間的差異（參考文章3）。

3. 優化算法相關函數

• SGD（Stochastic Gradient Descent）：隨機梯度下降算法，是深度學習中常用的優化算法之一，用于更新模型的參數以最小化損失函數（參考文章1）。
• Adam優化器：Adam是一種基于梯度下降的優化算法，它結合了Momentum和RMSprop算法的思想，具有自適應調整學習率的特點（雖然未直接提及，但Adam是深度學習中廣泛使用的優化器之一）。

4. 其他常用函數

• torch.Tensor/tensor：PyTorch中的張量類，用于存儲和操作數據（參考文章1）。
• torch.nn.Linear：PyTorch中的線性層，用于實現全連接層（參考文章1）。
• torch.nn.MSELoss：PyTorch中實現的MSE損失函數類（參考文章1）。
• torch.utils.data.DataLoader：PyTorch中的數據加載器，用于隨機讀取小批量數據并進行亂序處理（參考文章1）。

這些函數在深度學習中發揮著關鍵作用，從數據處理、模型定義到損失計算和優化算法，它們共同構成了深度學習模型的基礎。隨著深度學習技術的不斷發展，新的函數和算法也在不斷涌現，以適應不同的應用場景和需求。