矩陣復習

矩陣導數定理

若A是一個如下矩陣：
$$A=\left[\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right]$$
y是一個向量矩陣：
$$\vec{y}=\left[\begin{array}{c}{y}_1\\ y_2\end{array}\right]$$
則可得 text 定理：
$$\frac{\delta A?\vec{y}}{\delta \vec{y}}=A^T$$
$$\frac{\delta {\vec{y}}^T?A}{\delta \vec{y}}=\frac{\delta A^T?\vec{y}}{\delta \vec{y}}=A$$
也就是對A*y的矩陣，求偏導y，結果為A的轉置矩陣；

還可得另一個定理：
$$\frac{\delta {\vec{y}}^T?A\vec{y}}{\delta \vec{y}}=A\vec{y}+A^T\vec{y}$$
若A是一個對稱矩陣，也就是$A^T=A$，則上面的還會等于
$$2A\vec{y}$$

δ符號表示求導，$\vec{y}表示一個向量$

這部分的推導過程可參考此篇視頻

矩陣平方定理

若矩陣A滿足相乘原則，則有定理：
$$A^2=A^T?A$$

單位矩陣

是一種恒等矩陣，對角線上全為1，其余全為0，如下：
$$I=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$$
任何矩陣與單位矩陣相乘等于本身：
$$A?I=I?A=A$$

逆矩陣

注意逆矩陣不是轉置矩陣，若兩個矩陣A和B,n*n的方陣，且滿足：
$$A?B=I$$
也就是矩陣相乘等于單位矩陣，也說明A就是B的逆矩陣，A是可逆的，記：B=A^-1

最小二乘法

若輸入量為$x_1,x_2...x_n$，輸出量為$y_1,y_2...y_n$，為了你和一條函數曲線，是的輸入為$x_i$，輸出為$y_i$，我們假定它是一個多項式函數如$y_i=a{x}_i^2+b{x}_i+c$，x和y都有觀察數據，求$a,b,c$，因為數據又多組，帶入矩陣中運算：
$$\left[\begin{array}{ccc}{x}_1^2& x_1& 1\\ x_2^2& x_2& 1\\ ...& ...& ...\\ x_n^2& x_n^2& 1\end{array}\right]\left[\begin{array}{c}a\\ b\\ c\end{array}\right]=\left[\begin{array}{c}{y}_1\\ y_2\\ ...\\ y_n\end{array}\right]$$
進而用X，A，Y替換：
$$X?A=Y$$
A矩陣就是我們要求取的未知參數，往往信號觀察是在由噪聲的環境中的，假設噪聲為V，且噪聲的均值為0，也就是正和負噪聲，則推導公式：
$$X?A=Y+V$$
為了使誤差最小，使用最小二乘法，二乘差值平方，也就是：
$$(Y?X?A{)}^2=(Y?X?A{)}^T(Y?X?A)$$
對上面的式子A求偏導：
$$\frac{\delta (Y?X?A{)}^T(Y?X?A)}{\delta A}$$
推導過程可參考此視頻最小二乘法講解，求出后領偏導函數等于0求極值，也就是誤差最小值，得到定理:
$$A=(X^{T}X{)}^{?1}{X}^{T}Y$$