SDM方法

考慮一般額NLS問題：

$$f(x)=min_x||h(x)-y||^2$$
這里x為優化參數，h為非線性函數，y是已知變量，如下是基于梯度的迭代公式：
$$\Delta x=\alpha AJ_h^T(h(x)-y)$$
這里 $\alpha$是步長，A是縮放因子， $J_h$是h在當前參數x下的Jacobian值。

各種優化方法不同，取決于A的選擇，具體為：

• $A=H^{-1}$表示：牛頓法
• $A=(J^TJ)^{-1}$表示：高斯牛頓法
• $A=I$表示：梯度下降法

但對于不可導的函數，J和H都是很難求的。
SDM的主要觀點是用一個學習矩陣R去替代$\alpha AJ_h^T$,稱R為通用的下降方向(Generic Descent Map(DM))。

SDM是一種迭代算法，用來學習一系列的DM.如下動畫展示了SDM方法是如何從當前最優路徑（虛線標注）中學習DM的。
http://xiong828.github.io/pics/sdm-animation-all.gif

牛頓法與擬牛頓法

本章可以參考文獻《牛頓法與擬牛頓法學習筆記》