一、子空間投影
1.1 投影與誤差
向量b 在 向量a 上的投影即 a 上離 b 最近的點：
p=aTbaTaa
p = \frac{a^T b}{a^Ta}a
p=aTaaTb?a
我們記 誤差 e = b - p，顯然誤差e 和 a 是正交的。
1.2 投影矩陣
向量b 在子空間S上的投影是S中離b 最近的向量p。
我們做如下推導：
記子空間S=C(A)，p為b在S上投影因為p∈C(A),故Ax^=p有解e=b?p=b?Ax^,e和C(A)正交則AT(b?Ax^)=Ae=0,(亦即：e⊥C(A),e∈N(AT))打開括號：ATAx^=ATb假定ATA可逆，則有:x^=(ATA)?1ATbAx^=p=A(ATA)?1ATb
\begin{align}
& 記子空間S = C(A)，p 為 b 在S 上投影\\
& 因為p \in C(A), 故 A\hat x= p 有解 \\
& e = b - p = b - A\hat x, e 和 C(A) 正交 \\
& 則 A^T (b-A\hat x) = Ae = 0 ,(亦即：e\perp C(A), e \in N(A^T))\\
& 打開括號：A^TA \hat x=A^Tb \\
& 假定 A^TA 可逆，則有:\\
& \hat x = (A^TA)^{-1}A^Tb \\
& A \hat x = p = A(A^TA)^{-1}A^T b
\end{align}
?記子空間S=C(A)，p為b在S上投影因為p∈C(A),故Ax^=p有解e=b?p=b?Ax^,e和C(A)正交則AT(b?Ax^)=Ae=0,(亦即：e⊥C(A),e∈N(AT))打開括號：ATAx^=ATb假定ATA可逆，則有:x^=(ATA)?1ATbAx^=p=A(ATA)?1ATb??
也就是說 A(ATA)?1ATA(A^TA)^{-1}A^TA(ATA)?1AT 這個矩陣把 向量b 投影到了子空間S上。
我們稱列空間 C(A) 上的投影矩陣為P=A(ATA)?1ATP = A(A^TA)^{-1}A^TP=A(ATA)?1AT。
事實上，P=A(ATA)?1AT可分為如下幾種情況：case1：A是可逆方陣，則P=A(ATA)?1AT=AA?1(AT)?1AT=I此時，b∈C(A)，e=0，b=pcase2：A不是方陣，則我們不能拆開(ATA)?1更為重要的是，ATA是可逆的，當且僅當A的列向量線性無關證明：不妨設A是m行n列則n=r(ATA)≤r(A)≤n則A的列向量線性無關，證畢
\begin{align}
& 事實上，P = A(A^TA)^{-1}A^T 可分為如下幾種情況：\\ \\
& case1：A是可逆方陣，則 P = A(A^TA)^{-1}A^T = AA^{-1}(A^T)^{-1}A^T = I\\
& 此時，b \in C(A)，e = 0，b=p\\ \\
& case2：A 不是方陣，則 我們不能拆開 (A^TA)^{-1} \\
& 更為重要的是，A^TA 是可逆的，當且僅當 A 的列向量線性無關 \\ \\
& 證明：不妨設 A 是 m行n列 \\
& 則 n = r(A^TA) \le r(A) \le n \\
& 則 A 的列向量線性無關，證畢
\end{align}
?事實上，P=A(ATA)?1AT可分為如下幾種情況：case1：A是可逆方陣，則P=A(ATA)?1AT=AA?1(AT)?1AT=I此時，b∈C(A)，e=0，b=pcase2：A不是方陣，則我們不能拆開(ATA)?1更為重要的是，ATA是可逆的，當且僅當A的列向量線性無關證明：不妨設A是m行n列則n=r(ATA)≤r(A)≤n則A的列向量線性無關，證畢??
當A的列向量線性無關時，我們可以得出如下結論：
- P 是對稱陣
- $ P^2 = P$
- ATAx=ATbA^TAx = A^TbATAx=ATb 一定有解
1.3 A 列向量線性相關的情況
當 A 列向量線性相關時，我們不能使用投影矩陣公式，如何做投影？
對 A 列變換高斯消元找到一組基向量，記基向量構成的矩陣A’
則有投影矩陣 P=A′((A′)TA′)?1(A′)TP=A'((A')^TA')^{?1}(A')^TP=A′((A′)TA′)?1(A′)T
二、最小二乘法
通過 一的內容 我們知道，ATAx^=ATbA^TA \hat x = A^T bATAx^=ATb 給出了 b 在 C(A) 上的投影 p=Ax^p = A\hat xp=Ax^
當 Ax = b 無解時，我們稱 x^\hat xx^ 是 最小二乘解(least-squares solution)。
- 它滿足 ∣Ax^?b∣2|A\hat x - b|^2∣Ax^?b∣2 最小，即誤差最小
最小二乘法的一個重要應用就是直線擬合。
- 給定m 個點，求出一條直線使得：Σe 最小，即誤差和最小
這里不做過多介紹。
