多元正態分布（Multivariate Normal Distribution），也稱為多變量高斯分布，是單變量正態分布（高斯分布）在多維空間中的推廣。它是描述位于多維空間中的隨機向量的分布情況的一種概率分布。多元正態分布在統計分析、機器學習、模式識別等多個領域有著廣泛的應用。
在數學上，一個n維隨機向量 $\mathbf{X}=[X_1,X_2,\dots ,X_n{]}^T$ 如果服從多元正態分布，可以用以下的密度函數來描述：
$f(\mathbf{x};\mathbf{\mu },\mathbf{\Sigma })=\frac{1}{\sqrt{(2\pi {)}^n|\mathbf{\Sigma }|}}\exp \left(?\frac{1}{2}(\mathbf{x}?\mathbf{\mu }{)}^T{\mathbf{\Sigma }}^{?1}(\mathbf{x}?\mathbf{\mu })\right)$
其中：

• $\mathbf{x}$ 是一個具體的實數向量 $[x_1,x_2,\dots ,x_n{]}^T$。
• $\mathbf{\mu }$ 是一個n維均值向量 $[{\mu }_1,{\mu }_2,\dots ,{\mu }_n{]}^T$，表示各個分量的平均值。
• $\mathbf{\Sigma }$是一個$n\times n$的協方差矩陣，表示各分量之間的協方差，描述了變量之間的相關性。矩陣 $\mathbf{\Sigma }$必須是對稱的和半正定的。
• $|\mathbf{\Sigma }|$ 是協方差矩陣的行列式。

特征：

1. 每個分量 $X_i$ 自身是正態分布的。
2. 任意兩個分量 $X_i$ 和 $X_j$ 的線性組合也服從正態分布。
3. 分量之間可以是相互獨立的，如果協方差矩陣 $\mathbf{\Sigma }$是對角矩陣；如果協方差矩陣是單位矩陣，且各隨機變量有相同的方差，則這些變量不僅相互獨立，而且是標準正態分布的。
4. 多元正態分布的概率密度函數的等高線總是橢球型的，其形狀、大小和方向取決于均值向量 $\mathbf{\mu }$ 和協方差矩陣$\mathbf{\Sigma }$。
5. 協方差矩陣的特征值和特征向量決定了這些橢球的方向和軸的長度。

在實際應用中，參數 $\mathbf{\mu }$和 $\mathbf{\Sigma }$ 通常通過樣本的均值和樣本協方差矩陣來估計。多元正態分布是許多多變量統計方法的基礎，如多變量回歸分析、主成分分析（PCA）等。

多元正態分布的性質主要包括以下幾點：

1. 線性變換：

• 如果一個隨機向量 $\mathbf{X}$ 服從多元正態分布 $N(\mathbf{\mu },\mathbf{\Sigma })$，則對于任意線性變換 $\mathbf{AX}+\mathbf{b}$，其中$\mathbf{A}$ 是一個常數矩陣，$\mathbf{b}$ 是一個常數向量，變換后的隨機向量也服從多元正態分布。

2. 邊緣分布：

• 多元正態隨機向量的任何子集也服從多元正態分布。例如，如果 $\mathbf{X}$ 是一個多元正態分布，那么$\mathbf{X}$中的任何元素或者元素的子集也是正態分布的。

3. 條件分布：

• 在多元正態分布中，條件分布也是正態分布。也就是說，一個或多個變量給定條件下其他變量的分布仍然是正態分布。

4. 獨立性：

• 如果兩個或多個隨機變量之間的協方差為零，則這些隨機變量在多元正態分布中是獨立的。

5. 非奇異協方差矩陣：

• 多元正態分布要求協方差矩陣 $\mathbf{\Sigma }$是非奇異的，即 $\mathbf{\Sigma }$的行列式不為零。這意味著所有變量都有正方差，且沒有完全的線性關系。

6. 概率密度函數的形狀：

• 當協方差矩陣是對角矩陣時，各個變量之間獨立，概率密度函數的等高線是軸對齊的橢圓形（或超橢球形）。當協方差矩陣具有非對角線元素時，等高線會旋轉和傾斜，反映出變量之間的相關性。

7. 均值向量和協方差矩陣的決定作用：

• 均值向量$\mathbf{\mu }$確定了多元正態分布的中心位置，而協方差矩陣$\mathbf{\Sigma }$ 決定了分布的形狀和變量間的相關性。

8. 無偏估計：

• 樣本均值和樣本協方差矩陣是多元正態分布參數的無偏估計。

9. 最大熵性質：

• 在給定均值向量和協方差矩陣的條件下，多元正態分布具有最大熵，這意味著它在所有可能的概率分布中具有最大的不確定性。這使得多元正態分布在自然界和社會科學中的數據建模中非常普遍。

這些性質使得多元正態分布在理論研究和實際應用中都非常重要，尤其是在統計推斷、風險管理、機器學習和許多其他領域。

在多元正態分布中，有些特殊的情況是值得注意的：

1. 標準多元正態分布:

• 當均值向量 $\mathbf{\mu }$是零向量，協方差矩陣$\mathbf{\Sigma }$是單位矩陣時，即所有隨機變量都有均值 0 和方差 1，且彼此獨立，這種多元正態分布稱為標準多元正態分布。

2. 各向同性多元正態分布:

• 如果協方差矩陣$\mathbf{\Sigma }$是一個標量乘以單位矩陣，即${\sigma }^2\mathbf{I}$，這表明所有變量都有相同的方差${\sigma }^2$，并且彼此獨立。這種分布的等高線在空間中具有各向同性的性質，無論從哪個方向看都是相同的。

3. 相關多元正態分布:

• 當協方差矩陣的非對角線元素不為零時，不同變量之間存在線性相關性。相關性由協方差矩陣的非對角元素的符號和大小確定。

4. 退化多元正態分布:

• 如果協方差矩陣$\mathbf{\Sigma }$ 的行列式為零，也就是說矩陣不是滿秩的，那么這個多元正態分布被稱為退化的。在這種情況下，隨機變量間存在完全的線性關系，導致分布不再有一個良好定義的密度。退化分布的支持是在一個維度低于其變量數的空間中。

5. 條件多元正態分布:

• 在多元正態分布中，給定一些變量值后，剩余變量的條件分布仍然是多元正態分布。條件分布的均值和協方差可以通過已知變量的值計算得出。

6. 截斷多元正態分布:

• 當多元正態分布在某些區域被截斷時，例如某些變量只能取正值，那么在這個區域內的分布是截斷多元正態分布。

上述特殊情況下的多元正態分布在理論探討和實際應用中都有重要的地位，比如在金融模型、社會科學研究、工程問題等領域。