矩陣正態分布-matrix normal distribution
- 定義
- 性質
- 應用
最近碰到了這個概念,記錄一下
矩陣正態分布是一種推廣的正態分布,它應用于矩陣形式的數據。矩陣正態分布在多維數據分析、貝葉斯統計和機器學習中有廣泛的應用。其定義和性質如下:
定義
設 X \mathbf{X} X 是一個 n × m n \times m n×m 的隨機矩陣,如果 X \mathbf{X} X 服從矩陣正態分布,記作 X ~ M N ( M , U , V ) \mathbf{X} \sim \mathcal{MN}(\mathbf{M}, \mathbf{U}, \mathbf{V}) X~MN(M,U,V),那么其概率密度函數為:
f ( X ∣ M , U , V ) = exp ? ( ? 1 2 t r [ V ? 1 ( X ? M ) ? U ? 1 ( X ? M ) ] ) ( 2 π ) n m 2 ∣ V ∣ n 2 ∣ U ∣ m 2 , f(\mathbf{X}|\mathbf{M}, \mathbf{U}, \mathbf{V}) = \frac{\exp\left(-\frac{1}{2} \mathrm{tr}\left[\mathbf{V}^{-1} (\mathbf{X} - \mathbf{M})^\top \mathbf{U}^{-1} (\mathbf{X} - \mathbf{M}) \right]\right)}{(2\pi)^{\frac{nm}{2}} |\mathbf{V}|^{\frac{n}{2}} |\mathbf{U}|^{\frac{m}{2}}}, f(X∣M,U,V)=(2π)2nm?∣V∣2n?∣U∣2m?exp(?21?tr[V?1(X?M)?U?1(X?M)])?,
其中:
- M \mathbf{M} M 是 n × m n \times m n×m 的均值矩陣。
- U \mathbf{U} U 是 n × n n \times n n×n 的協方差矩陣,描述了行之間的協方差結構。
- V \mathbf{V} V 是 m × m m \times m m×m 的協方差矩陣,描述了列之間的協方差結構。
性質
-
均值和協方差:
- E [ X ] = M \mathbb{E}[\mathbf{X}] = \mathbf{M} E[X]=M
- C o v ( v e c ( X ) ) = V ? U \mathrm{Cov}(\mathrm{vec}(\mathbf{X})) = \mathbf{V} \otimes \mathbf{U} Cov(vec(X))=V?U
其中 v e c ( X ) \mathrm{vec}(\mathbf{X}) vec(X) 表示將矩陣 X \mathbf{X} X 展平為一個列向量, ? \otimes ? 表示 Kronecker 乘積。
-
條件分布:
- 如果對 X \mathbf{X} X 的行或列進行條件化,條件分布仍然是矩陣正態分布。
-
獨立性:
- 如果 U \mathbf{U} U 和 V \mathbf{V} V 都是對角矩陣,那么矩陣中的元素是獨立的。
-
邊際分布:
- 如果 X ~ M N ( M , U , V ) \mathbf{X} \sim \mathcal{MN}(\mathbf{M}, \mathbf{U}, \mathbf{V}) X~MN(M,U,V),那么 X \mathbf{X} X 的任意一行或任意一列的分布是多元正態分布。例如, X \mathbf{X} X 的第 i i i 行的分布為 N ( X i ? , V ) \mathcal{N}(\mathbf{X}_{i*}, V) N(Xi??,V),其中 X i ? \mathbf{X}_{i*} Xi?? 是第 i i i 行的均值向量。
應用
-
多變量統計分析:
- 在多變量統計分析中,用于描述和估計多元數據的協方差結構。
-
貝葉斯統計:
- 在貝葉斯統計中,作為先驗分布和后驗分布的一部分,用于處理矩陣形式的數據。
-
機器學習:
- 在機器學習中,特別是在高斯過程回歸和多元線性回歸中,用于建模和預測矩陣形式的數據。