主要記錄多元隨機變量數字特征相關內容。

關鍵詞：多元統計分析

一元隨機變量

總體

隨機變量Y

總體均值
$\mu =E(Y)=\int yf(y)dy$
總體方差
${\sigma }^2=Var(Y)=E(Y?\mu {)}^2$

樣本

隨機樣本 { y 1 , . . . , y n } \{y_1, ..., y_n\} {y1?,...,yn?}

樣本均值
$\bar{y}=\frac{1}{n}{\sum }_{i=1^n}^n{y}_i$
樣本方差
$s^2=\frac{1}{n?1}{\sum }_{i=1^n}^n(y_i?\bar{y}{)}^2$

二元隨機變量

總體

隨機變量(X, Y)

總體協方差
${\sigma }_{XY}=cov(X,Y)=E[(X?{\mu }_X)(Y?{\mu }_Y)]=E(XY)?{\mu }_X{\mu }_Y$

總體相關系數
${\rho }_{XY}=corr(X,Y)={\sigma }_{XY}/({\sigma }_X{\sigma }_Y)$

說明：
可以理解變量中的 X為身高、Y為體重
根據西瓦茲不等式可得，${\sigma }_{XY}\le {\sigma }_X{\sigma }_Y$
總體相關系數取值范圍 $[?1,1]$

樣本

二元隨機樣本 $\{(x_1,y_1),...,(x_n,y_n)\}$

樣本協方差
$$s_{xy}=\frac{1}{n?1}\sum _{i=1}^n(x_i?\bar{x})(y_i?\bar{y})$$

樣本相關系數
$$r_{xy}=s_{xy}/(s_x{s}_y)$$

樣本相關取值范圍 $[?1,1]$

性質 ${\sigma }_{XY}=0?X和Y是不相關/線性獨立的$

線性獨立不等于獨立
特例：如果X和Y服從二元正態分布，那么我們有
${\sigma }_{XY}=0?X和Y是獨立的$

多元數據特征

現有 $n$ 個樣本點，每個樣本點包含 $p$ 個變量的觀測，則數據集可以表示為 $n\times p$ 矩陣
$$Y=\left(\begin{array}{ccccc}{y}_{11}& ...& y_{1j}& ...& y_{1p}\\ ...& ...& ...& ...& ...\\ y_{i1}& ...& y_{ij}& ...& y_{ip}\\ ...& ...& ...& ...& ...\\ y_{n1}& ...& y_{nj}& ...& y_{np}\end{array}\right)=\left(\begin{array}{c}{y}_1^{?}\\ ...\\ y_2^{?}\\ ...\\ y_n^{?}\end{array}\right)$$

其中 $y_i=(y_{i1},...,y_{ip}{)}^{?}$ 由 Y 的第 $i$ 行構成，表示第$i$個樣本

對于總體
$\mathbf{y}=(Y_1,...,Y_p{)}^{?}$

這里的 $\mathbf{y}$ 是隨機向量

期望（即均值向量）：
$$E(\mathbf{y})=(E(Y_1),...,E(Y_p){)}^{?}=({\mu }_1,...,{\mu }_p{)}^{?}=\mathbf{\mu }$$

對于樣本
{ y 1 , y 2 , . . . , y n } \{ \bm{y_1}, \bm{y_2}, ..., \bm{y_n} \} {y1?,y2?,...,yn?}

均值向量：
$$\bar{\mathbf{y}}=\frac{1}{n}\sum _{i=1}^n{\mathbf{y}}_{\mathbf{i}}=(\overline{y_1},...,\overline{y_p}{)}^{?}$$

其中 $\overline{y_j}=\frac{1}{n}{\sum }_{i=1}^n{y}_{ij},E(\bar{\mathbf{y}})=\mathbf{\mu }$

協方差矩陣（Covariance matrix）

對總體
隨機向量 $\mathbf{y}=(Y_1,...,Y_p{)}^{?},p\times p$總體協方差矩陣定義為：
$$\begin{array}{rl}\mathbf{\Sigma }& =Cov(\mathbf{y})\\ & =E[(\mathbf{y}?\mathbf{\mu })(\mathbf{y}?\mathbf{\mu }{)}^{?}]\\ & =\left(\begin{array}{cccc}{\sigma }_{11}& {\sigma }_{12}& ...& {\sigma }_{1p}\\ {\sigma }_{21}& {\sigma }_{22}& ...& {\sigma }_{2p}\\ ...& ...& ...& ...\\ {\sigma }_{p1}& {\sigma }_{p2}& ...& {\sigma }_{pp}\end{array}\right)\end{array}$$

其中，
${\sigma }_{jk}$為 $Y_j$和$Y_k$之間的協方差，${\sigma }_{jj}={\sigma }_j^2$ 為 $Y_j$的方差。

對樣本
隨機樣本 { y 1 , . . . , y n } , p × p \{ \bm{y_1}, ..., \bm{y_n} \}, p \times p {y1?,...,yn?},p×p 樣本協方差矩陣定義為：
$$\begin{array}{rl}\mathbf{S}& =\frac{1}{n?1}\sum _{i=1}^n({\mathbf{y}}_{\mathbf{i}}?\bar{\mathbf{y}})({\mathbf{y}}_{\mathbf{i}}?\bar{\mathbf{y}}{)}^{?}\\ & =\left(\begin{array}{cccc}{s}_{11}& s_{12}& ...& s_{1p}\\ s_{21}& s_{22}& ...& s_{2p}\\ ...& ...& ...& ...\\ s_{p1}& s_{p2}& ...& s_{pp}\end{array}\right)\end{array}$$

其中，
$s_{jk}=\frac{1}{n?1}{\sum }_{i=1}^n(y_{ij}?\overline{y_j})(y_{kj}?\overline{y_k})$
$s_{jj}=s_j^2=\frac{1}{n?1}{\sum }_{i=1}^n(y_{ij}?\overline{y_j}{)}^2$

性質1 $\mathbf{\Sigma }$和$\mathbf{S}$是對稱的
性質2 $\mathbf{S}$是$\mathbf{\Sigma }$的無偏估計，也即$E(\mathbf{S})=\mathbf{\Sigma }$
性質3 $\bar{\mathbf{y}}$ 的協方差矩陣是 $Cov(\bar{\mathbf{y}})=\frac{\mathbf{\Sigma }}{n}$

性質3，對應一維情況是相似的，即樣本均值的方差 $Cov(\bar{x})={\sigma }^2/n.$

相關系數矩陣

總體相關系數矩陣
$$\mathbf{P}=({\rho }_{jk})=\left(\begin{array}{cccc}1& {\rho }_{12}& ...& {\rho }_{1p}\\ {\rho }_{21}& 1& ...& {\rho }_{2p}\\ ...& ...& ...& ...\\ {\rho }_{p1}& {\rho }_{p2}& ...& 1\end{array}\right)$$

其中 ${\rho }_{jk}={\sigma }_{jk}/({\sigma }_j{\sigma }_k)$ 為$Y_j$與$Y_k$之間的總體相關系數

樣本相關系數矩陣
對隨機樣本 { y 1 , . . . , y n } \{\bm{y_1}, ..., \bm{y_n}\} {y1?,...,yn?}來說，
$$\mathbf{R}=(r_{jk})=\left(\begin{array}{cccc}1& r_{12}& ...& r_{1p}\\ r_{21}& 1& ...& r_{2p}\\ ...& ...& ...& ...\\ r_{p1}& r_{p2}& ...& 1\end{array}\right)$$

其中 $r_{jk}=s_{jk}/\sqrt{s_{jj}{s}_{kk}}=s_{jk}/(s_j{s}_k)$ 為第$j$ 和第$k$ 個變量之間的樣本相關系數

協方差矩陣的用途

1.刻畫數據整體離散型

如果$|S|$很小，有可能是數據波動比較小，也有可能是存在共線性現象。故$|S|$稱為廣義方差。

$tr(S)$刻畫了各變量波動程度的總和，但忽略了變量間的相關性，故成為總方差。

2.定義統計距離

一元情況
歐式距離：$|y_1?y_2|$
標準化后的距離：$|y_1?y_2|/s_y$

多元情況
在多元情況中，對于兩個$p$維向量
${\mathbf{y}}_1=(y_{1}1,...,y_{1}p{)}^{?}$
${\mathbf{y}}_2=(y_{2}1,...,y_{2}p{)}^{?}$

歐式距離定義為：
$$||{\mathbf{y}}_1?{\mathbf{y}}_2||=\sqrt{({\mathbf{y}}_1?{\mathbf{y}}_2{)}^{?}({\mathbf{y}}_1?{\mathbf{y}}_2)}=\sqrt{\sum _{j=i}^p(y_{1j}?y_{2j}{)}^2}$$

歐式距離只考慮了分量各自的距離，沒有考慮到不同變量變化的尺度不同，以及變量之間的相關性。

統計距離/馬氏距離

類似于一元情況$|y_1?y_2|/s_y$，我們定義 ${\mathbf{y}}_1$和${\mathbf{y}}_2$之間的統計距離/馬氏距離：
$$d=\sqrt{({\mathbf{y}}_1?{\mathbf{y}}_2{)}^{?}{\mathbf{S}}^{?1}({\mathbf{y}}_1?{\mathbf{y}}_2)}$$

統計距離而言，方差更大的變量貢獻更小的權重，兩個高度相關的變量的貢獻小于兩個相關性較低的變量。

歐氏距離vs統計距離

統計距離其實是兩個經過“標準化”的向量${\mathbf{S}}^{?1/2}{\mathbf{y}}_1$ 和 ${\mathbf{S}}^{?1/2}{\mathbf{y}}_2$ 之間的歐式距離：

$$||{\mathbf{S}}^{?1/2}{\mathbf{y}}_1?{\mathbf{S}}^{?1/2}{\mathbf{y}}_2||=\sqrt{({\mathbf{y}}_1?{\mathbf{y}}_2{)}^{?}{\mathbf{S}}^{?1}({\mathbf{y}}_1?{\mathbf{y}}_2)}$$

為什么是 ${\mathbf{S}}^{?1/2}{\mathbf{y}}_1$ 的形式？我們可以計算得到其協方差實際就是一個單位矩陣$\mathbf{I}$

$$Cov({\mathbf{S}}^{?1/2}{\mathbf{y}}_1)={\mathbf{I}}_p$$

由此可得，經過標準化后的 ${\mathbf{S}}^{?1/2}{\mathbf{y}}_1$ 各變量之間的相關系數為0，不同變量之間協方差為0，變量自身的方差也標準化為了1。

隨機變量的線性組合

$\mathbf{y}=(Y_1,...,Y_p{)}^{?}$ 的均值 $\mu$，協方差矩陣為$\mathbf{\Sigma }$

定義線性組合：
$$Z={\mathbf{a}}^{?}\mathbf{y}=\sum _{j=1}^p{a}_j{Y}_j$$
其中 $\mathbf{a}=(a_1,...,a_p{)}^{?}$是系數向量。

則對隨機變量$Z$ 我們有：
$E(Z)=E({\mathbf{a}}^{?}\mathbf{y})={\mathbf{a}}^{?}\mathbf{\mu }$
$var(Z)=var({\mathbf{a}}^{?}\mathbf{y})={\mathbf{a}}^{?}\mathbf{\Sigma }\mathbf{a}$

如果我們有另一個線性組合：
$$W={\mathbf{b}}^{?}\mathbf{y}=\sum _{j=1}^p{b}_j{Y}_j$$
則可以計算$Z$和$W$之間的線性關系：
$$\begin{array}{rl}{\sigma }_{ZW}& =cov(Z,W)\\ & =E({\mathbf{a}}^{?}\mathbf{y}?{\mathbf{a}}^{?}\mathbf{\mu })({\mathbf{b}}^{?}\mathbf{y}?{\mathbf{b}}^{?}\mathbf{\mu })\\ & ={\mathbf{a}}^{?}\mathbf{\Sigma }\mathbf{b}\end{array}$$

$${\rho }_{ZW}=corr(Z,W)=\frac{{\mathbf{a}}^{?}\mathbf{\Sigma }\mathbf{b}}{\sqrt{({\mathbf{a}}^{?}\mathbf{\Sigma }\mathbf{a})({\mathbf{b}}^{?}\mathbf{\Sigma }\mathbf{b})}}$$

如果是多個線性組合呢？

考慮 $q$個$Y_1,...,Y_p$的線性組合，記作 $\mathbf{z}=\mathbf{Ay}$, $\mathbf{A}=(a_{ij}{)}_{q\times p}$，則我們有：

$${\mu }_{\mathbf{z}}=E(\mathbf{Ay})=\mathbf{A\mu },$$
$${\mathbf{\Sigma }}_{\mathbf{z}}=Cov(\mathbf{z})=\mathbf{A}\mathbf{\Sigma }{\mathbf{A}}^{?}$$

更一般的，對 $\mathbf{w}=\mathbf{Ay}+\mathbf{b}$, 其中 $b$為常向量，有
$${\mu }_{\mathbf{w}}=E(\mathbf{Ay}+\mathbf{b})=\mathbf{A\mu }+\mathbf{b},$$
$${\mathbf{\Sigma }}_{\mathbf{w}}=Cov(\mathbf{w})=\mathbf{A}\mathbf{\Sigma }{\mathbf{A}}^{?}$$

(待更新)