一、奇異值分解概述

奇異值分解是線性代數中一個重要的矩陣分解方法，對于任何矩陣，無論是結構化數據轉化成的“樣本 * 特征”矩陣，還是天然以矩陣形式存在的圖像數據，都能進行等價的奇異值分解（SVD）。

二、不必糾結的部分

1. 線性代數概念回顧

奇異值分解涉及諸多線性代數概念，不過對于很多實際應用場景，不深入掌握這些概念也不妨礙我們使用奇異值分解來解決問題。

2. 奇異值推導

奇異值的推導過程較為復雜，涉及大量的數學公式和證明。在實際應用中，我們更關注其應用而非推導過程，所以這部分也可不掌握。

三、奇異值的強大應用

1. 特征降維

• 減小計算量 ：在結構化數據里，原本有 $m$ 個特征，通過奇異值分解，我們能選取保留前 $K$ 個奇異值及其對應的奇異向量，將數據降維成 $k$ 個新特征。新特征是原始特征的線性組合，捕捉了數據的主要方差信息。降維后的數據規模變小，用于機器學習模型（如分類、回歸）時，能顯著提高計算效率。
• 可視化 ：高維數據難以直接可視化，通過奇異值分解降維到二維或三維，就能在平面或空間中直觀展示數據分布，幫助我們更好地理解數據特征。

import numpy as np
from sklearn.preprocessing import StandardScaler
from sklearn.datasets import load_iris# 加載鳶尾花數據集
data = load_iris()
X = data.data# 數據標準化
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)# 進行奇異值分解
U, S, VT = np.linalg.svd(X_scaled)# 選擇前 2 個奇異值進行降維
K = 2
X_reduced = np.dot(U[:, :K], np.diag(S[:K]))print("原始數據形狀:", X_scaled.shape)
print("降維后數據形狀:", X_reduced.shape)

2. 數據重構

• 重構信號 ：在信號處理領域，奇異值分解可以對信號矩陣進行分解。通過保留主要的奇異值和奇異向量重構信號，去除噪聲干擾，恢復信號的主要特征。
• 重構圖像 ：對于圖像數據，利用奇異值分解選取部分奇異值和奇異向量重構圖像。既能在一定程度上壓縮圖像數據，又能保持圖像的主要視覺特征，實現圖像的有損壓縮。

import numpy as np
from sklearn.preprocessing import StandardScaler
from sklearn.datasets import load_iris# 加載鳶尾花數據集
data = load_iris()
X = data.data# 數據標準化
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)# 進行奇異值分解
U, S, VT = np.linalg.svd(X_scaled)# 選擇前 2 個奇異值進行重構
K = 2
S_k = np.zeros((X_scaled.shape[0], X_scaled.shape[1]))
S_k[:K, :K] = np.diag(S[:K])
X_reconstructed = np.dot(np.dot(U, S_k), VT)# 計算 Frobenius 范數相對誤差
error = np.linalg.norm(X_scaled - X_reconstructed) / np.linalg.norm(X_scaled)
print("Frobenius 范數相對誤差:", error)

四、操作注意事項

在進行 SVD 之前，通常要對數據進行標準化處理，使數據均值為 0，方差為 1。這樣做能避免某些特征因量綱差異過大，對降維結果產生不合理的影響，保證奇異值分解的有效性和準確性。

五、誤差衡量

對分解后的矩陣進行重構原始矩陣操作后，可通過計算 Frobenius 范數相對誤差來衡量原始矩陣和重構矩陣的差異。該誤差值能幫助我們判斷保留不同數量奇異值時重構的效果，進而選擇合適的 $K$ 值以達到最佳的應用效果。

六、總結

本文主要介紹奇異值分解（SVD）的兩個關鍵要點：一是操作注意事項，進行 SVD 前需對數據標準化，避免量綱差異影響降維結果；二是誤差衡量方法，通過計算 Frobenius 范數相對誤差評估矩陣重構效果，輔助選擇合適的 $K$ 值。