前文回顧

上一篇文章鏈接：地址

6.協方差矩陣與主成分分析

協方差矩陣是一個對稱矩陣，用于衡量隨機變量之間的線性相關性和方差。給定一個$n$維隨機向量 $\mathbf{X}=(X_1,X_2,\dots ,X_n)$，其協方差矩陣表示為 C = { cov ( X i , X j ) } \boldsymbol{C} = \{\text{cov}(X_i, X_j)\} C={cov(Xi?,Xj?)}，其中 $\text{cov}(X_i,X_j)$ 表示隨機變量 $X_i$ 和 $X_j$ 的協方差。協方差矩陣是一個 $n\times n$ 的矩陣，其中第 $(i,j)$ 個元素表示 $X_i$ 和 $X_j$ 之間的協方差。對角線上的元素是各個隨機變量的方差，非對角線上的元素則代表了兩個隨機變量之間的協方差
在主成分分析（PCA）中，協方差矩陣扮演著重要的角色。PCA 是一種常用的降維技術，旨在找到數據中最重要的特征（主成分），以便用較低維度的特征表示數據。使用 PCA 進行降維的關鍵步驟之一是計算數據的協方差矩陣。通過計算協方差矩陣，我們可以獲得數據中各個特征之間的相關性信息。協方差矩陣的特征值和特征向量提供了關于數據結構和特征重要性的有用信息，在 PCA 中，我們將協方差矩陣的特征向量作為新的基向量，將數據投影到這些基向量上，構成新的特征空間。通過將特征值排序，我們可以選擇最重要的特征（較大的特征值），從而實現數據維度的降低。這樣可以減少數據的冗余信息，并捕捉到最具代表性的特征

總結來說，協方差矩陣在主成分分析中起著至關重要的作用。它提供了關于數據特征之間關系的信息，幫助我們理解數據的結構并選擇最具代表性的特征，從而實現數據的降維和壓縮

7.矩陣的奇異值分解

矩陣的奇異值分解（Singular Value Decomposition，SVD）是一種重要的矩陣分解技術，它將一個矩陣分解為三個矩陣的乘積。給定一個$m\times n$的矩陣$\mathbf{A}$，其SVD表示為：

$$\mathbf{A}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T$$

其中，$\mathbf{U}$和$\mathbf{V}$是正交矩陣，$\mathbf{\Sigma }$是一個對角矩陣。$\mathbf{U}$的列向量稱為左奇異向量，$\mathbf{V}$的列向量稱為右奇異向量，$\mathbf{\Sigma }$的對角線元素稱為奇異值，SVD的主要特點是將原始矩陣分解成了三個部分，每個部分都有其獨特的性質和含義。這使得SVD在矩陣分解和降維中具有廣泛應用，比如：

• 矩陣分解：SVD在矩陣分解中非常有用。通過將矩陣$\mathbf{A}$進行奇異值分解，我們可以得到特征向量矩陣$\mathbf{U}$和$\mathbf{V}$以及奇異值矩陣$\mathbf{\Sigma }$。這使得我們能夠有效地計算矩陣的逆、偽逆和矩陣方程的解等
• 數據壓縮和降維：SVD也被廣泛應用于數據壓縮和降維。通過保留最大的奇異值和相應的特征向量，我們可以將原始高維數據投影到一個較低維度的空間中，并且盡量保留原始數據的主要信息。這對于處理高維數據、去除冗余信息和減少計算復雜性非常有幫助
• 圖像處理：在圖像處理中，SVD可以用于圖像壓縮和圖像增強等任務。通過對圖像矩陣進行SVD，我們可以提取出圖像的主要特征，并用較低維度的表示來表示圖像
• 推薦系統：在協同過濾推薦系統中，SVD可以用于對用戶-物品評分矩陣進行分解，以獲取用戶和物品的潛在特征。這有助于發現用戶和物品之間的關聯性，并用于生成個性化的推薦

總結來說，矩陣的奇異值分解（SVD）是一種強大且廣泛應用的矩陣分解技術。它在矩陣分解、數據壓縮、降維、圖像處理和推薦系統等領域具有重要作用，并為我們理解和處理復雜的數據提供了有力工具

8.神經網絡的前向傳播和反向傳播

• 前向傳播：

  • 輸入向量 $\mathbf{x}$ 通過與權重矩陣 $\mathbf{W}$ 的乘法得到隱藏層的輸入：$\mathbf{h}=\mathbf{W}?\mathbf{x}$
  • 隱藏層的輸入 $\mathbf{h}$ 經過激活函數 $f(?)$ 得到隱藏層的激活值：$\mathbf{a}=f(\mathbf{h})$
  • 隱藏層的激活值 $\mathbf{a}$ 再次與權重矩陣 ${\mathbf{W}}^{\prime }$ 進行乘法運算得到輸出層的輸入：$\mathbf{o}={\mathbf{W}}^{\prime }?\mathbf{a}$
  • 輸出層的輸入 $\mathbf{o}$ 經過激活函數 $f(?)$ 得到最終的輸出值：$\mathbf{y}=f(\mathbf{o})$

• 反向傳播（基于交叉熵損失函數）：

  • 計算輸出層的誤差項：${\mathbf{\delta }}_o=(\mathbf{y}?\mathbf{t})\odot f^{\prime }(\mathbf{o})$，其中 $\mathbf{t}$ 是目標值，$\odot$ 表示逐元素相乘，$f^{\prime }(?)$ 是激活函數的導數
  • 反向傳播輸出層的誤差項到隱藏層：${\mathbf{\delta }}_a={\mathbf{W}}^{\prime T}?{\mathbf{\delta }}_o\odot f^{\prime }(\mathbf{h})$
  • 計算權重矩陣 ${\mathbf{W}}^{\prime }$ 的梯度：${?}_{{\mathbf{W}}^{\prime }}={\mathbf{\delta }}_o?{\mathbf{a}}^T$
  • 計算權重矩陣 $\mathbf{W}$ 的梯度：${?}_{\mathbf{W}}={\mathbf{\delta }}_a?{\mathbf{x}}^T$

在反向傳播過程中，梯度計算使用了鏈式法則，通過將誤差項逐層傳遞回去，從而計算出權重矩陣的梯度。這些梯度可以用于更新權重矩陣，以最小化損失函數，并不斷優化神經網絡的性能，通過矩陣運算和逐元素操作，神經網絡可以高效地進行前向傳播和反向傳播過程，實現輸入數據的轉換和網絡參數的學習

9.矩陣的跡

矩陣的跡（Trace）是指一個方陣對角線上所有元素的和。對于一個$n\times n$矩陣$\mathbf{A}$，其跡表示為$\text{tr}(\mathbf{A})$，計算方式為：

$$\text{tr}(\mathbf{A})=\sum _{i=1}^n{A}_{ii}$$

跡有以下特性：

• 跡對矩陣的轉置不變：$\text{tr}(\mathbf{A})=\text{tr}({\mathbf{A}}^T)$
• 跡對矩陣乘法具有結合律：$\text{tr}(\mathbf{AB})=\text{tr}(\mathbf{BA})$
• 跡對矩陣加法具有可加性：$\text{tr}(\mathbf{A}+\mathbf{B})=\text{tr}(\mathbf{A})+\text{tr}(\mathbf{B})$

在矩陣求導和優化中，跡具有一些重要的應用。矩陣求導中的應用有：

• 跡的導數：當我們需要對一個標量函數關于一個矩陣進行求導時，可以將其轉化為對跡的求導。根據跡的性質，我們有 $\frac{?}{?\mathbf{A}}\text{tr}(\mathbf{AB})={\mathbf{B}}^T$ 和 $\frac{?}{?\mathbf{A}}\text{tr}({\mathbf{ABA}}^T)={\mathbf{BA}}^T+{\mathbf{B}}^T\mathbf{A}$ 等等
• 鏈式法則：在多元復合函數求導時，跡的性質使得我們能夠使用跡來簡化求導過程。通過將跡運算與矩陣鏈式相乘結合起來，我們可以高效地計算復雜函數的導數

優化中的應用：

• 正則化項：在損失函數中引入跡作為正則化項，可以對模型參數進行約束，避免過擬合或提高模型的穩定性
• 物理意義：在一些優化問題中，跡可以表示系統的某些物理量，例如能量、功率等，從而幫助解決實際問題

總結：矩陣的跡是指方陣對角線上所有元素的和，具有對轉置不變、結合律和可加性等特性。在矩陣求導和優化中，跡被廣泛應用于簡化求導過程、定義正則化項以及表示物理量等方面

10.特征工程的多項式特征擴展

在特征工程中，多項式特征擴展（Polynomial Feature Expansion）是一種將原始特征通過多項式組合生成新的特征的方法。它通過引入原始特征的冪和交互項來捕捉特征之間的非線性關系，從而提供更豐富的特征表示

假設我們有一個包含$n$個特征的向量$\mathbf{x}=(x_1,x_2,\dots ,x_n)$，多項式特征擴展可以將其轉化為一個包含多項式特征的向量$\mathbf{y}=(y_1,y_2,\dots ,y_m)$，其中$m$是根據所選特征的最高次數和交互項確定的新特征維度

通過線性代數的方法，可以使用以下步驟來實現多項式特征擴展：

• 構建特征矩陣：將原始特征向量$\mathbf{x}$構造成一個$n\times 1$的矩陣$\mathbf{X}$
  $$\mathbf{X}=\left[\begin{array}{c}{x}_1\\ x_2\\ ?\\ x_n\end{array}\right]$$
  計算多項式度數：選擇所需的多項式度數$d$，確定要生成的多項式特征的最高次數
• 擴展特征矩陣：通過計算原始特征的冪和交互項，將特征矩陣$\mathbf{X}$擴展為一個$n\times m$的新特征矩陣$\mathbf{Y}$。每一列代表一個多項式特征
  $$\mathbf{Y}=\left[\begin{array}{ccccccc}1& x_1& x_1^2& \dots & x_1^d& x_1{x}_2& \dots \\ 1& x_2& x_2^2& \dots & x_2^d& x_2{x}_3& \dots \\ ?& ?& ?& ?& ?& ?& ?\\ 1& x_n& x_n^2& \dots & x_n^d& x_{n?1}{x}_n& \dots \end{array}\right]$$
• 利用線性代數進行計算：可以使用線性代數中的矩陣乘法來計算特征矩陣的擴展。我們可以將特征矩陣$\mathbf{X}$與一個由多項式系數組成的矩陣相乘，得到擴展后的特征矩陣$\mathbf{Y}$，多項式特征擴展使得我們能夠引入更多非線性特征，從而改善模型對數據的擬合能力。然而，要注意的是，高次多項式和大量交互項可能導致特征維度的爆炸，需要謹慎選擇多項式的度數和特征組合