常用參數：$t$-步數，$\alpha$-學習率，$\theta$-參數，$f(\theta )$-目標函數，$g_t$-梯度，${\beta }_1$-一階矩衰減系數，通常取0.9，${\beta }_2$-二階矩，$m_t$-均值，$v_t$-方差，${\hat{m}}_t$-$m_t$偏置矯正，${\hat{v}}_t$-$v_t$偏置矯正。

• 梯度下降（BGD）：最簡單的迭代求解算法，選取開始點${\theta }_0$，對$t=1,...,T$，${\theta }_t={\theta }_{t?1}?\eta g_{t?1}$，其中$\eta$是學習率。

• 隨機梯度下降（SGD）：由于有$n$個樣本時，為了減少計算量，所以SGD在時間$t$隨機選取一個樣本$t_i$來近似$f(x)$，SGD的下降方向是對真實梯度方向的無偏估計。

• 批量梯度下降（MBGD）：為了充分利用GPU多核，計算批量的梯度，也是一個無偏的近似，但降低了方差。

• 動量法（Momentum）：為增加收斂的穩定性，并緩解陷入局部最優，動量法使用平滑過的梯度對權重更新：${\theta }_t={\theta }_{t?1}?\eta v_t$，它用一個動量$v_t$累加了過去的梯度，其中$g_t$為當前梯度：
  $$v_t=\beta v_{t?1}+(1?\beta )?g_t$$

• Adagrad：對于不同的參數，有時需要更新的幅度相差較大，此時不同參數就需要不同的學習率，Adagrad采用的方法是，將歷史梯度的平方和累加起來，為學習率添加一個分母項$\sqrt{G_t+?}$，其中$G_t=G_{t?1}+g_t^2$，因此，參數更新公式就變成：
  $${\theta }_t={\theta }_{t?1}?\frac{\eta }{\sqrt{G_t+?}}?g_t$$
  如此可見，對于梯度一直很大的參數，其對應的學習率就會變小，而如果參數的梯度很大，學習率相對就更大一點，實現了一定程度上的自動調整。此方法比較適合處理悉數數據，因為稀疏特征的參數更新少，學習率會較大，實現更快收斂，而缺點是累積梯度會隨時間增大，導致學習率越來越小甚至接近0，可能導致后期收斂太慢。

• RMSProp：和Adagrad類似，對累積平方梯度上做改進：$G_t=\lambda G_{t?1}+(1?\lambda )?g_t^2$，參數更新公式相同。

• Adam：結合了動量法和Adagrad，動態調整每個參數的學習率，同時利用梯度的一階矩（動量）和二階矩（自適應學習率，也可以理解為轉動慣量）加速收斂。具體分為四步：
  計算梯度的一階距估計：
  $$m_t={\beta }_1?m_{t?1}+(1?{\beta }_1)?g_t$$
  計算梯度的二階矩估計：
  $$v_t={\beta }_2?v_{t?1}+(1?{\beta }_2)?g_t^2$$
  這樣設計的原因是，展開式中，當t為無窮大時，歷史梯度項權重系數和為1，此為數學依據：
  $$m_t=(1?{\beta }_1)(g_t+{\beta }_1{g}_{t?1}+{\beta }_1^2{g}_{t?2}+{\beta }_1^3{g}_{t?3}+...)$$
  $$\sum _{i=0}^{\infty }{\beta }_1^i=\frac{1}{1?{\beta }_1}$$
  由于初始項受初始值為0的影響較大，所以進行偏差修正，同理，這樣設計的原因是有限項等比數列和公式${\sum }_{i=0}^t{\beta }_1^i=\frac{1?{\beta }_1^t}{1?{\beta }_1}$：
  $$\widehat{m_t}=\frac{m_t}{1?{\beta }_1^t},\widehat{v_t}=\frac{v_t}{1?{\beta }_2^t}$$ 例如，當$t=1$時：$${\hat{m}}_1=\frac{m_1}{1?{\beta }_1^1}=\frac{(1?{\beta }_1)g_1}{1?{\beta }_1}=g_1$$
  最后進行參數更新：
  $$\theta ={\theta }_{t?1}?\frac{\eta }{\sqrt{{\hat{v}}_t}+?}?{\hat{m}}_t$$最后貼一個論文原文算法部分：