協方差矩陣

協方差矩陣反映了兩個隨機變量變化時是同向還是反向的（相關性）。
如果協方差>0，則說明這兩個隨機變量同向變化。
協方差矩陣<0，則說明是反向變化。
協方差矩陣=0，則說明是兩個隨機變量的變化方向沒有任何相似度。

計算原理

假設矩陣：
$$X=\left[\begin{array}{ccc}3& 1& 2\\ 5& 6& 4\\ 8& 7& 9\end{array}\right]$$
樣本均值為：
$$\overline{X}=\frac{1}{3}(\left[\begin{array}{c}3\\ 5\\ 8\end{array}\right]+\left[\begin{array}{c}1\\ 6\\ 7\end{array}\right]+\left[\begin{array}{c}2\\ 4\\ 9\end{array}\right])=\left[\begin{array}{c}3\\ 5\\ 8\end{array}\right]$$
矩陣的每列都減去樣本的均值：
$$B=X?\overline{X}=\left[\begin{array}{ccc}1& ?1& 0\\ 0& 1& ?1\\ 0& ?1& 1\end{array}\right]$$
矩陣的協方差矩陣Y：
$$Y=\frac{1}{N?1}B{B}^T=\frac{1}{3?1}\left[\begin{array}{ccc}1& ?1& 0\\ 0& 1& ?1\\ 0& ?1& 1\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ ?1& 1& ?1\\ 0& ?1& 1\end{array}\right]=\frac{1}{2}\left[\begin{array}{ccc}2& ?1& 1\\ ?1& 2& ?2\\ 1& ?1& 1\end{array}\right]=\left[\begin{array}{ccc}1& ?0.5& 0.5\\ ?0.5& 1& ?1\\ 0.5& ?1& 1\end{array}\right]$$

python實現

import numpy as npa = np.array([3, 1, 2])
b = np.array([5, 6, 4])
c = np.array([8, 7, 9])X = np.vstack((a, b, c))
print(f'矩陣X: \n{X}')Y = np.cov(X)
print(f'矩陣X的協方差矩陣為: \n{Y}')