梯度分析與最優化
在深度學習的任務中，我們所期望的是訓練一個神經網絡，使得預測結果與真實標簽之間的誤差最小化，這可以近似看作是一個提供梯度下降等優化找到全局最優解的凸優化問題。

奇異值分解
在信息工程領域，對數據處理的時候想要考慮：實際的觀測數據存在某種程度的不確定性或誤差。因此我們需要一種算法能夠函數逼近且在數值上是穩定的。
對于線性代數而言，當Ax=b時，若系數矩陣A非奇異，由于獨立的方程個數和未知參數的個數相等時，方程存在唯一解。而研究解向量x隨系數矩陣A和系數向量b微小擾動，則將得到描述矩陣A的重要數值，稱為條件數。
k(A)=||A|| ||A-1||,
其中||A||是矩陣A的某種范數，||A-1||是A的逆矩陣A-1的范數，條件數的大小反映了矩陣 𝐴 對輸入誤差的放大效應。具體來說，條件數大意味著矩陣在計算中可能放大誤差意味著矩陣的列（或行）之間幾乎是線性相關的，而條件數小則說明該矩陣對誤差不敏感。
奇異值分解可以用來解決矩陣條件數的問題。具體來說，奇異值分解通過將矩陣分解成其特征的奇異值和特征向量，從而提供了一種直接且有效的方式來理解和處理矩陣的穩定性和敏感性問題。
A=UΣ(V)T
其中U是一個mm的正交矩陣，Σ是一個mn的對角矩陣，V是n*n的正交矩陣。
對于一個矩陣A，其條件數可以通過最大奇異值除以最小奇異值表達。若矩陣的奇異值接近零或有很大的差距，意味著矩陣的條件數很大，可能會導致數值不穩定。相反，如果奇異值差距不大（最大奇異值和最小奇異值接近），則矩陣的條件數較小，計算較為穩定。
一、 如果矩陣的條件數很大，可能需要采取一些數值穩定性較高的方法（如正則化、使用穩定的求解算法）
二、如果矩陣的奇異值中某些接近零，則可以采取“奇異值截斷”的方法，去掉小的奇異值，從而減少條件數，提高計算穩定性。
三、在某些情況下，矩陣的條件數很大時，我們可以通過降秩近似（低秩近似）來減少計算的誤差。例如，可以通過選擇前幾個最大的奇異值和對應的奇異向量來近似原矩陣，這樣不僅能降低條件數，還能減少數值計算中的誤差。這個過程通常被稱為“矩陣的奇異值截斷”或“低秩近似”。 針對，總體最小二乘、數據壓縮、圖像增強、動態系統實現理論以及線性方程求解等都需要低秩近似，這樣做可以捕捉信號中最關鍵的特征以及減少噪聲的影響。
四、在奇異值分析的應用中，需要低秩的矩陣逼近一個含噪聲或擾動的矩陣
一般求解矩陣的奇異值問題常用算法包括（1）QR分解（2）jacobi旋轉
QR分解用于處理大規模矩陣的奇異值分解，尤其是在需要處理稀疏矩陣時，通過迭代逐漸逼近解，能夠在數值精度要求高的應用中提供穩定的結果
Jacobi 旋轉應用于對稱矩陣的特征值問題，因此它在處理物理問題（如熱傳導、力學系統分析等）中的某些特定情境時效果較好

特征分析
對于一個已知的量確定描述其特征的坐標系，稱為特征分析。在矩陣代數中，特征分析與譜分析聯系：一個線性算子的譜定義為該算子矩陣特征值的集合。在工程中譜分析與傅里葉分析結合。在圖像處理領域，圖像可以看作是一個二維矩陣，通過矩陣分析譜分析、特征值分解，對矩陣進行剖析以得出有利的判別。
（1）主成分分析（PCA）：PCA通過計算圖像數據或特征（本質是矩陣）的協方差矩陣，然后對該矩陣鏡像特征值分解。最大特征值對應的特征向量代表數據中方差最大的反向，能在排除外部噪聲情況下，捕捉圖像中最主要的變化信息。
（2）譜聚類：通過構建圖拉普拉斯矩陣等對圖像建模，通過對構建的這些矩陣進行特征值分解，利用特征結構進行圖像分割或聚類。通過計算圖的拉普拉斯矩陣的特征值和特征向量，將數據映射到低維空間，在這個空間中不同類別的數據更易于分離。在這些方法中關注的可能是最小或次小的特征值，但在某些變體中，最大特征值也提供了有關數據全局結構的重要信息。

子空間分析與跟蹤
子空間分析可以用于復雜函數的多項式逼近，求微分方程的逼近解以及設計更好的信號處理器。
一、子空間的基：在工程問題中，可以通過選擇合適的基將數據投影至一個低維子空間。子空間的基就像是坐標系中的“軸”，它們能夠幫助我們減少計算量，同時保留問題的核心信息。常見的基包括多項式基函數、傅里葉基、正交基等，通過構建基函數的方式近擬一個信號或者函數。
二、基的正交性：為了計算的簡潔性，如果基向量正交，你們相互之間沒有干擾具有簡化投影的意義。正交基可以進一步規范化成正交規范基（即每個基向量的長度為1）。這樣，基向量之間的內積為零，而它們自身的內積為1。對于正交規范基，計算變得更加簡潔，任何向量在這個基下的坐標可以通過簡單的內積計算得到。正交基確保了基向量的線性獨立性，意味著這些向量不會重復或冗余，對于數值計算來說，這可以避免數值不穩定或退化的情況，確保算法的可靠性。
三、特征子空間追蹤：用于跟蹤和估計動態系統中不斷變化的特征子空間方法。處理時變數據、信號或系統。一般來說，特征子空間追蹤試圖從一組不斷變化的數據中提取出主成分或關鍵特征，以便在后續的計算中使用。隨著時間推移，不僅數據本身發生變化，數據的主要特征（例如主成分或特征值）也會隨之變化。通過特征子空間追蹤算法，可以跟蹤這些變化并及時調整相關的子空間表示。常見場景：實時信號處理、自適應濾波器、目標跟蹤與識別、系統識別與建模、主成分分析、動態系統分析與信息源定位。

投影分析
矩陣分析的投影分析涉及將一個向量或者矩陣投影到某個子空間，在多維空間中投影過程類似將一個點或向量映射到某個特定的方向。
在通信、時序分析和信號處理領域，最優解可以歸為提取某個希望的信號并抑制其他干擾、雜波或者噪聲。投影分為正交投影和斜投影兩類。當兩個子空間正交，基于正交投影在子空間的分量可抽取。斜投影是當兩個子空間不正交，抽取數據在一個子空間的分量的同時抑制在另一個子空間分量。
從信號處理的角度看投影矩陣：從信號處理角度分析，投影可以看作是濾波器。