最小二乘問題
最小二乘問題標準公式
殘差函數，線性和非線性最小二乘
最小二乘問題的兩種寫法：
目標
找到?x使得預測值?Ax與觀測值?b?的殘差平方和最小。
范數和范數平方
線性最小二乘
一般形式：
-
殘差?r=Ax?b是x?的線性函數。
-
目標函數是凸的，存在唯一全局最優解（若A?列滿秩）。
求解方法
鏈接
?線性最小二乘的解法
非線性最小二乘
一般形式：
-
特點：
-
殘差?r=f(x)?b是?x的非線性函數。
-
目標函數可能非凸，存在多個局部極小值。
-
求解方法
非線性最小二乘的解法
| 特性 | 線性最小二乘 | 非線性最小二乘 |
|---|---|---|
| 模型形式 | Ax=b | f(x)≈b |
| 解的唯一性 | 唯一解（若滿秩） | 可能有多個局部極小值 |
| 求解方法 | 解析解（正規方程、QR、SVD） | 迭代法（高斯-牛頓、LM、梯度下降） |
| 計算復雜度 | O(n3)（矩陣分解） | 每迭代次?O(mn2)（雅可比計算） |
| 適用場景 | 線性回歸、信號處理 | 曲線擬合、SLAM、神經網絡訓練 |
凸函數，凹函數，非凸函數
函數解釋和圖像
簡單理解就是：
凸函數：整個函數凸起來；
凹函數：整個函數凹陷。
如果函數有凸起，又有凹陷呢？
?非凸函數（Non-Convex Function）
定義：
既不是凸函數也不是凹函數的函數，或局部同時存在凸性和凹性的函數。
幾何意義：
圖像可能有“波浪形”、“鞍點”或“多個極值點”（如山脈與山谷交替）。
性質：
-
存在多個局部極小值/極大值，優化困難。
在slam中的凸和凹函數
-
凸函數：圖像無凹陷，優化簡單，全局最優解唯一。
-
非凸函數：圖像復雜，優化困難，需處理多極值問題。
-
最小二乘：線性時為凸，非線性時通常非凸，解法差異顯著。
| 特性 | 凸函數 | 非凸函數 |
|---|---|---|
| 圖像形狀 | 向上開口的“碗狀”或直線 | 可能存在“波浪”、“鞍點”或“多個坑” |
| 極值點 | 唯一全局最小值 | 多個局部極小值/鞍點 |
| 優化難度 | 容易（梯度下降必收斂到全局最優） | 困難（需全局優化策略） |
