矩陣的條件數(conditional number)是衡量矩陣數值穩定性的關鍵指標，是判斷矩陣是否處于病態 (ill-conditioned) 的一種度量標準，尤其在數值分析和線性代數中至關重要。以下將對矩陣條件數進行總結。

1. 定義

矩陣的條件數衡量矩陣對擾動或誤差的敏感性。對于非奇異矩陣 $A\in {\mathbb{R}}^{n\times n}$，其條件數定義為：
$$\text{Cond}(A)=\Vert A\Vert ?\Vert A^{?1}\Vert ,$$
其中$(\Vert ?\Vert )$ 為矩陣范數。常用范數包括：

• 2-范數（譜條件數）：${\text{Cond}}_2(A)=\frac{{\sigma }_{\max }}{{\sigma }_{\min }}$, ${\sigma }_{\max }$ 和 ${\sigma }_{\min }$ 分別為最大和最小奇異值。
• 1-范數 和 ∞-范數：通過列或行絕對和的最大值計算。
• Frobenius范數：基于矩陣元素的平方和。

作用:
條件數越大，矩陣越“病態”（ill-conditioned），微小的輸入擾動會導致解的顯著變化
條件數接近1時，矩陣為“良態”（well-conditioned），數值計算穩定性高

2. 為什么要定義條件數？

2.1 分析線性系統 $A(x+\Delta x)=b+\Delta b$

在線性系統 $Ax=b$中，假設 $A$ 是可逆矩陣。對向量 b 增加擾動得到向量 $b+\Delta b$，分析對應的解 $x$ 和$x+\Delta x$之間的變化：

原始線性系統：
$$Ax=b$$

擾動線性系統：
$$A(x+\Delta x)=b+\Delta b$$

將擾動系統代入原始系統，得到：
$$b+A\Delta x=b+\Delta b$$
$$?A\Delta x=\Delta b$$
$$?\Delta x=A^{?1}\Delta b$$

引入矩陣范數（subordinate matrix norm），根據其性質可得：
$$\Vert \Delta x\Vert \le \Vert A^{?1}\Vert \Vert \Delta b\Vert$$

結合原始系統 ( b = Ax ) 的范數關系：
$$\Vert b\Vert \le \Vert A\Vert \Vert x\Vert ?\Vert x\Vert \ge \frac{\Vert b\Vert }{\Vert A\Vert }$$

當 ( b \neq 0 ) 時，解的相對誤差滿足：
$$\frac{\Vert \Delta x\Vert }{\Vert x\Vert }\le \left(\Vert A\Vert \Vert A^{?1}\Vert \right)\frac{\Vert \Delta b\Vert }{\Vert b\Vert }$$

2.2 分析線性系統 $(A+\Delta A)(x+\Delta x)=b$

在線性系統$Ax=b$ 中，假設 A 是可逆矩陣。對矩陣 A 增加擾動得到 $A+\Delta A$，分析對應的解 $x$ 和 $x+\Delta x$ 之間的變化：

原始線性系統：
$$Ax=b$$

擾動線性系統：
$$(A+\Delta A)(x+\Delta x)=b$$

將擾動系統展開并代入原始系統，得到：
$$A(x+\Delta x)+\Delta A(x+\Delta x)=b$$
$$?A\Delta x+\Delta A(x+\Delta x)=0$$
$$?\Delta x=?A^{?1}\Delta A(x+\Delta x)$$

取范數并利用矩陣范數的相容性，可得：
$$\Vert \Delta x\Vert \le \Vert A^{?1}\Vert \Vert \Delta A\Vert \Vert x+\Delta x\Vert$$

進一步整理相對誤差：
$$\frac{\Vert \Delta x\Vert }{\Vert x+\Delta x\Vert }\le \Vert A\Vert \Vert A^{?1}\Vert \frac{\Vert \Delta A\Vert }{\Vert A\Vert }$$

結合原始系統的范數關系 $\Vert A\Vert \Vert x\Vert \ge \Vert b\Vert$，當 $\Vert A^{?1}\Vert \Vert \Delta A\Vert <1$ 時，解的相對誤差滿足：
$$\frac{\Vert \Delta x\Vert }{\Vert x\Vert }\le \frac{\Vert A\Vert \Vert A^{?1}\Vert }{1?\Vert A^{?1}\Vert \Vert \Delta A\Vert }?\frac{\Vert \Delta A\Vert }{\Vert A\Vert }$$

2.3 定義矩陣的條件數

從上述兩個擾動線性系統的分析中可以看出，解的相對誤差均與常數項 $\Vert A\Vert \Vert A^{?1}\Vert$ 相關。因此，矩陣的條件數可定義為：
對于任意可逆矩陣 A ，其條件數為
$$\text{cond}(A)=\Vert A\Vert \Vert A^{?1}\Vert$$
其中，$\text{cond}(?)$表示條件數。

應用分析：

1. 擾動右端項 ( \Delta b ) 的影響：
   對于線性系統 $A(x+\Delta x)=b+\Delta b$，當 $b\ne 0$時，解的相對誤差滿足
   $$\frac{\Vert \Delta x\Vert }{\Vert x\Vert }\le \text{cond}(A)\frac{\Vert \Delta b\Vert }{\Vert b\Vert }$$

2. 擾動矩陣 ( \Delta A ) 的影響：
   對于線性系統 $(A+\Delta A)(x+\Delta x)=b$，當 $b\ne 0$ 時，解的相對誤差滿足
   $$\frac{\Vert \Delta x\Vert }{\Vert x+\Delta x\Vert }\le \text{cond}(A)\frac{\Vert \Delta A\Vert }{\Vert A\Vert }$$

進一步約束條件：
若擾動矩陣滿足
$$\Vert \Delta A\Vert <\frac{1}{\Vert A^{?1}\Vert }$$
則解的相對誤差可進一步表示為
$$\frac{\Vert \Delta x\Vert }{\Vert x\Vert }\le \text{cond}(A)\frac{\Vert \Delta A\Vert }{\Vert A\Vert }?\frac{1}{1?\Vert A^{?1}\Vert \Vert \Delta A\Vert }$$

3. 性質及幾何意義

3.1. 性質

• 下界為1：$\text{Cond}(A)\ge 1$。正交矩陣的譜條件數為1，是“最良態”的矩陣。
• 縮放不變性：$\text{Cond}(kA)=\text{Cond}(A)$，$k\ne 0$。
• 奇異矩陣：條件數為無窮大（最小奇異值為零）。
• 對稱正定矩陣：譜條件數為最大與最小特征值之比。

3.2. 幾何意義

條件數反映矩陣變換對單位球的拉伸/壓縮程度。譜條件數為變換后橢球最長軸與最短軸之比，比值越大，矩陣越“病態”。

4. 計算方法

• 奇異值分解（SVD）：計算最大和最小奇異值的比值（譜條件數）。
• 矩陣逆的范數：如利用1-范數或∞-范數時需顯式計算逆矩陣。
• 數值工具：MATLAB中可用 cond(A, p) 計算不同范數下的條件數（$p=1,2,\text{inf},\text{’fro’}$）。

5. 應用與影響

• 線性方程組求解：條件數過大時，解的相對誤差被顯著放大。誤差估計式為：
  $$\frac{\Vert \Delta x\Vert }{\Vert x\Vert }\le \text{Cond}(A)\left(\frac{\Vert \Delta A\Vert }{\Vert A\Vert }+\frac{\Vert \Delta b\Vert }{\Vert b\Vert }\right).$$
• 病態問題處理：需采用正則化（如嶺回歸）、高精度計算或預處理技術。
• 特征值與奇異值：對稱矩陣的譜條件數由特征值決定，非對稱矩陣則由奇異值決定。
• 機器學習：權值矩陣條件數過大可能導致訓練不穩定，需歸一化或正則化。

6. 常見誤區

• 行列式無關性：行列式大小與條件數無直接關系（如對角矩陣可具大行列式但良態）。
• 特征值與條件數：非對稱矩陣的特征值可能為復數，條件數僅由奇異值決定。

7. 經典例子

• 希爾伯特矩陣：隨階數增長迅速病態，如5階條件數已超 $10^5$。
• 對角矩陣：$\text{diag}(1,?)$ 的條件數為 $1/?$，$?\to 0$ 時病態。

8. 條件數估計

• Hager-Higham算法：估計1-范數條件數。
• 迭代法：近似最大/最小奇異值以評估譜條件數。

總結

矩陣條件數是數值分析中的核心概念，直接影響算法穩定性與精度。理解其定義、計算方法和應用場景，有助于在科學計算與工程問題中避免數值不穩定，提升解的質量。

https://www.phys.uconn.edu/~rozman/Courses/m3511_18s/downloads/condnumber.pdf