文章目錄
- 1. 投影矩陣
- 1.1 投影矩陣P
- 1.2 投影向量
1. 投影矩陣
1.1 投影矩陣P
根據上節知識，我們知道當我們在解 A X = b AX=b AX=b的時候，發現當向量b不在矩陣A的列空間的時候，我們希望的是通過投影，將向量b投影到矩陣A的列空間中，這樣，我們可以求得一個近似的解，得到如下公式
A T A X ^ = A T b (1) A^TA\hat{X} = A^Tb\tag{1} ATAX^=ATb(1)
- 我們假設 A T A 可逆， A^TA可逆， ATA可逆，可得到解為：
X ^ = ( A T A ) ? 1 A T b (2) \hat{X}=(A^TA)^{-1}A^Tb\tag{2} X^=(ATA)?1ATb(2) - 那么可以得到向量b在矩陣A的列空間向量p表示如下：
p = A ( A T A ) ? 1 A T b (3) p=A(A^TA)^{-1}A^Tb\tag{3} p=A(ATA)?1ATb(3) - 由上可以看出，我們將矩陣 P = A ( A T A ) ? 1 A T P=A(A^TA)^{-1}A^T P=A(ATA)?1AT代入可得：
p = P b (4) p=Pb\tag{4} p=Pb(4) - 我們發現，向量b為不在矩陣A的列空間中的向量,p為向量b通過投影矩陣P轉換后的向量。并且向量p是在矩陣A的列空間中。
1.2 投影向量
對于任意向量b來說，我們可以通過正交分解，將向量b分解到兩個垂直的向量空間中，我們考慮兩個極端的情況下
- 假設向量b在矩陣A的列空間中，那么向量b通過投影矩陣P的轉換，還是得到其本身
P b = b (5) Pb=b\tag{5} Pb=b(5) - 假設向量b在垂直于矩陣A的列空間中，那么向量b通過投影矩陣P的轉換，得到的將是零向量
P b = 0 (6) Pb=0\tag{6} Pb=0(6)
那么我們思考下，什么向量空間是垂直于矩陣A的列空間的呢？我們之前學過矩陣A的四個子空間，分別是
- Row(A) —> 矩陣A的行空間；2.Colum(A) —> 矩陣A的列空間
- N(A) —> 矩陣A的零解空間；4. N ( A T ) N(A^T) N(AT) —> 矩陣 A T A^T AT的零解空間
我們可以將 A T A^T AT按列向量拆解得到如下
A T = [ a 1 T a 2 T ? a n T ] ; [ a 1 T a 2 T ? a n T ] [ y 1 y 2 … y n ] = 0 (7) A^T=\begin{bmatrix}a_1^T\\\\a_2^T\\\\\vdots\\\\a_n^T \end{bmatrix};\begin{bmatrix}a_1^T\\\\a_2^T\\\\\vdots\\\\a_n^T \end{bmatrix}\begin{bmatrix}y_1&y_2&\dots&y_n\end{bmatrix}=0\tag{7} AT= ?a1T?a2T??anT?? ?; ?a1T?a2T??anT?? ?[y1??y2??…?yn??]=0(7)
- 由上述可以看出， A T A^T AT的零解空間是垂直于矩陣A的列空間的，所以我們可以將任意向量b 通過正交分解為一部分投影在列空間的向量p，另一部分投影在 A T A^T AT的零解空間中的e
p = P b e = ( I ? P ) b (8) p=Pb\\\\e=(I-P)b\tag{8} p=Pbe=(I?P)b(8)
)
)
