目錄
一、PCA的思想
二、PCA的步驟
三、關鍵概念
四、PCA的優勢與應用
PCA（主成分分析，Principal Component Analysis）是一種廣泛使用的數據降維算法，它通過線性變換將原始數據轉換為一組各維度線性無關的表示，從而提取數據的主要特征分量。
一、PCA的思想
PCA的主要思想是將n維特征映射到k維上（k < n），這k維是全新的正交特征，也被稱為主成分。這些主成分是在原有n維特征的基礎上重新構造出來的k維特征，它們能夠最大限度地保留原始數據中的信息（即方差）。
二、PCA的步驟
- 數據預處理：
- 對數據進行中心化（去均值），即每個特征都減去其平均值，使得處理后的數據均值為0。
- 計算協方差矩陣：
- 協方差矩陣是衡量多個變量之間相關性的矩陣。對于n維數據，其協方差矩陣是一個n×n的對稱矩陣，其中每個元素表示對應兩個特征之間的協方差。
- 在實際應用中，通常使用散度矩陣（或稱為協方差矩陣乘以(n-1)）進行計算，因為散度矩陣和協方差矩陣在特征值分解時具有相同的特征向量。
- 特征值分解：
- 對協方差矩陣或散度矩陣進行特征值分解，得到特征值和特征向量。
- 特征值表示了對應特征向量方向上的方差大小，即數據在該方向上的離散程度。
- 選擇主成分：
- 將特征值從大到小排序，選擇前k個最大的特征值對應的特征向量作為主成分。
- 這些特征向量構成了一個新的坐標系，即主成分空間。
- 數據轉換：
- 將原始數據投影到主成分空間上，得到降維后的數據。
- 這通常通過計算原始數據與特征向量的點積來實現。
三、關鍵概念
- 方差：
- 方差是衡量數據離散程度的指標。在PCA中，方差越大的方向表示數據在該方向上的離散程度越大，即包含的信息量越多。
- 協方差：
- 協方差是衡量兩個變量之間相關性的指標。在PCA中，協方差矩陣用于描述原始數據各特征之間的相關性。
- 特征值與特征向量：
- 特征值是協方差矩陣或散度矩陣分解后得到的對角矩陣上的元素，表示了對應特征向量方向上的方差大小。
- 特征向量是協方差矩陣或散度矩陣分解后得到的正交向量，它們構成了新的坐標系（主成分空間）。
- 降維：
- PCA通過選擇前k個最大的特征值對應的特征向量作為主成分，將原始數據從n維降低到k維，實現了數據的降維處理。
四、PCA的優勢與應用
- 優勢：
- 能夠有效降低數據的維度，減少計算量。
- 能夠保留數據中的主要信息，即方差最大的方向。
- 是一種無監督學習方法，不需要標簽信息。
- 應用：
- PCA在圖像處理、數據壓縮、信號處理、模式識別、數據可視化等領域有著廣泛的應用。
- 例如，在圖像處理中，PCA可以用于人臉識別、圖像壓縮等任務；在數據可視化中，PCA可以將高維數據降維到二維或三維空間進行可視化分析。
