（從隨機變量講起）
隨機變量x：表示隨機試驗各種結果的 實值 單值函數，就是說隨機變量x是一個函數映射，其取值為標量。

隨機變量有離散型和連續型，離散型：拋10次硬幣，硬幣正面朝上的次數。連續型：某一地區一天內每一時刻的溫度。

隨機變量的性質由其統計量表示，常用的統計量有隨機變量的：均值與方差

離散型隨機變量x,取值序列{x1,x2,....,xn}\{x_1,x_2,....,x_n\}{x1?,x2?,....,xn?}的均值為：
$$\mu =\frac{1}{n}\sum _{i=1}^n{x}_i$$
均值可以 量化 這個隨機變量值 大小。

離散型隨機變量x,取值序列{x1,x2,....,xn}\{x_1,x_2,....,x_n\}{x1?,x2?,....,xn?}的方差為：
$$\sigma =\frac{1}{n}\sum _{i=1}^n(x_i?\mu {)}^2$$
方差表明取值序列的 離散程度。

當分析兩個隨機變量x,y之間關系的時候，協方差 的概念 由此引出:
兩個隨機變量取值序列{x1,x2,....,xn}\{x_1,x_2,....,x_n\}{x1?,x2?,....,xn?},{y1,y2,....,yn}\{y_1,y_2,....,y_n\}{y1?,y2?,....,yn?}之間的協方差：
$$cov(x,y)=\frac{1}{n}\sum _{i=1}^n(x_i?{\mu }_x)(y_i?{\mu }_y)$$

協方差矩陣

我們在實際中，經常會遇到協方差矩陣，給定一個n個$d?1$維的(列)向量數據{x1,x2,...,xn}\{\bm{x_1},\bm{x_2},...,\bm{x_n}\}{x1?,x2?,...,xn?},這組數據的協方矩陣為:
$$\Sigma =\frac{1}{n}\sum _{i=1}^n（{\mathbf{x}}_{\mathbf{i}}?\mathbf{\mu }）({\mathbf{x}}_{\mathbf{i}}?\mathbf{\mu }{)}^T$$
其中：$\mathbf{\mu }=\frac{1}{n}\sum {\mathbf{x}}_{\mathbf{i}}$

以上協方差矩陣$\Sigma$實際是記錄 以向量$\mathbf{x}$各個（d個）維度為隨機變量 的d個隨機變量之間的協方差。

${\mathbf{x}}_i^j$下標表示第$i$個向量數據，上標表示第$i$個向量的第$j$個分量，則$\Sigma$是一個$d?d$的矩陣：
$$\Sigma =\frac{1}{n}\sum ?\begin{array}{c}{\mathbf{x}}_{\mathbf{i}}^1?{\mathbf{\mu }}^1\\ {\mathbf{x}}_{\mathbf{i}}^2?{\mathbf{\mu }}^2\\ ...\\ {\mathbf{x}}_{\mathbf{i}}^{\mathbf{d}}?{\mathbf{\mu }}^{\mathbf{d}}\end{array}??\left[\begin{array}{cccc}{\mathbf{x}}_{\mathbf{i}}^1?{\mathbf{\mu }}^1,& {\mathbf{x}}_{\mathbf{i}}^2?{\mathbf{\mu }}^2,& ...,& {\mathbf{x}}_{\mathbf{i}}^{\mathbf{d}}?{\mathbf{\mu }}^{\mathbf{d}}\end{array}\right]$$

$$=\frac{1}{n}\sum ?\begin{array}{cccc}({\mathbf{x}}_{\mathbf{i}}^1?{\mathbf{\mu }}^1)({\mathbf{x}}_{\mathbf{i}}^1?{\mathbf{\mu }}^1),& ({\mathbf{x}}_{\mathbf{i}}^1?{\mathbf{\mu }}^1)({\mathbf{x}}_{\mathbf{i}}^2?{\mathbf{\mu }}^2),& ...,& ({\mathbf{x}}_{\mathbf{i}}^1?{\mathbf{\mu }}^1)({\mathbf{x}}_{\mathbf{i}}^{\mathbf{d}}?{\mathbf{\mu }}^{\mathbf{d}})\\ ({\mathbf{x}}_{\mathbf{i}}^2?{\mathbf{\mu }}^2)({\mathbf{x}}_{\mathbf{i}}^1?{\mathbf{\mu }}^1),& ({\mathbf{x}}_{\mathbf{i}}^2?{\mathbf{\mu }}^2)({\mathbf{x}}_{\mathbf{i}}^2?{\mathbf{\mu }}^2),& ...,& ({\mathbf{x}}_{\mathbf{i}}^2?{\mathbf{\mu }}^2)({\mathbf{x}}_{\mathbf{i}}^{\mathbf{d}}?{\mathbf{\mu }}^{\mathbf{d}})\\ ...& & & \\ ({\mathbf{x}}_{\mathbf{i}}^{\mathbf{d}}?{\mathbf{\mu }}^{\mathbf{d}})({\mathbf{x}}_{\mathbf{i}}^1?{\mathbf{\mu }}^1),& ({\mathbf{x}}_{\mathbf{i}}^{\mathbf{d}}?{\mathbf{\mu }}^{\mathbf{d}})({\mathbf{x}}_{\mathbf{i}}^2?{\mathbf{\mu }}^2),& ...,& ({\mathbf{x}}_{\mathbf{i}}^{\mathbf{d}}?{\mathbf{\mu }}^{\mathbf{d}})({\mathbf{x}}_{\mathbf{i}}^{\mathbf{d}}?{\mathbf{\mu }}^{\mathbf{d}})\end{array}?$$

在PCA 算法中就需要對樣本協方差矩陣進行特征值分解。