文章目錄
- 前提條件
- 關鍵結論
- 推導過程簡述
- 注意事項
- 示例說明
矩陣的范數和逆矩陣的范數之間的關系是線性代數中的一個重要主題,尤其是在數值分析和矩陣理論中。
前提條件
- 我們討論的是方陣 A A A 的情況,因為只有方陣才可能存在逆矩陣。
- 矩陣 A A A 是可逆的(即 det ? ( A ) ≠ 0 \det(A) \neq 0 det(A)=0),這意味著 A ? 1 A^{-1} A?1 存在。
關鍵結論
對于一個給定的矩陣范數 ∥ ? ∥ \|\cdot\| ∥?∥,如果 A A A 是可逆的,則有以下不等式成立:
∥ A ? 1 ∥ ≥ 1 ∥ A ∥ \|A^{-1}\| \geq \frac{1}{\|A\|} ∥A?1∥≥∥A∥1?
其中, ∥ A ∥ \|A\| ∥A∥ 表示矩陣 A A A 的范數,而 ∥ A ? 1 ∥ \|A^{-1}\| ∥A?1∥ 則表示其逆矩陣的范數。注意這里的范數可以是任何相容的矩陣范數,如誘導范數(induced norm)、Frobenius范數等。
推導過程簡述
考慮向量 x x x 和單位向量 y = A x / ∥ A x ∥ y = Ax/\|Ax\| y=Ax/∥Ax∥,我們有:
1 = ∥ y ∥ = ∥ A x ∥ A x ∥ ∥ ≤ ∥ A ∥ ? ∥ x ∥ A x ∥ ∥ 1 = \|y\| = \left\|\frac{Ax}{\|Ax\|}\right\| \leq \|A\| \cdot \left\|\frac{x}{\|Ax\|}\right\| 1=∥y∥= ?∥Ax∥Ax? ?≤∥A∥? ?∥Ax∥x? ?
由此可以得出:
1 ∥ A ∥ ≤ ∥ x ∥ ∥ A x ∥ \frac{1}{\|A\|} \leq \frac{\|x\|}{\|Ax\|} ∥A∥1?≤∥Ax∥∥x∥?
對所有非零向量 x x x 成立。特別地,取 x = A ? 1 z x = A^{-1}z x=A?1z 對于任意非零向量 z z z,我們得到:
1 ∥ A ∥ ≤ ∥ A ? 1 z ∥ ∥ z ∥ \frac{1}{\|A\|} \leq \frac{\|A^{-1}z\|}{\|z\|} ∥A∥1?≤∥z∥∥A?1z∥?
從而得出:
∥ A ? 1 ∥ ≥ 1 ∥ A ∥ \|A^{-1}\| \geq \frac{1}{\|A\|} ∥A?1∥≥∥A∥1?
注意事項
- 這個關系表明了逆矩陣的范數至少為原矩陣范數的倒數。然而,在實際應用中, ∥ A ? 1 ∥ \|A^{-1}\| ∥A?1∥ 可能遠大于 1 / ∥ A ∥ 1/\|A\| 1/∥A∥,特別是在矩陣接近奇異的情況下(即當 det ? ( A ) \det(A) det(A) 非常接近于0時)。
- 矩陣條件數(condition number)定義為 κ ( A ) = ∥ A ∥ ? ∥ A ? 1 ∥ \kappa(A) = \|A\| \cdot \|A^{-1}\| κ(A)=∥A∥?∥A?1∥,它衡量了矩陣求解線性系統時的敏感度。條件數越大,意味著矩陣越“病態”,數值計算的結果可能越不穩定。
示例說明
假設有一個 2 × 2 2 \times 2 2×2 矩陣 A A A:
A = [ 4 7 2 5 ] A = \begin{bmatrix} 4 & 7 \\ 2 & 5 \end{bmatrix} A=[42?75?]
其逆矩陣為:
A ? 1 = [ 5 / 6 ? 7 / 6 ? 1 / 3 2 / 3 ] A^{-1} = \begin{bmatrix} 5/6 & -7/6 \\ -1/3 & 2/3 \end{bmatrix} A?1=[5/6?1/3??7/62/3?]
如果我們使用譜范數(spectral norm),即最大奇異值作為范數,則可以通過計算各自的奇異值來估計范數,并驗證上述不等式是否成立。
📘 譜范數定義
矩陣 A A A 的譜范數定義為它的最大奇異值:
∥ A ∥ 2 = σ max ? ( A ) \|A\|_2 = \sigma_{\max}(A) ∥A∥2?=σmax?(A)
而奇異值是矩陣 A T A A^T A ATA 的特征值的平方根。因此,我們可以按以下步驟計算:
- 計算 A T A A^T A ATA
- 求其特征值
- 取最大特征值的平方根即為譜范數
? 步驟一:計算 A T A A^T A ATA
A T = [ 4 2 7 5 ] , A T A = [ 4 2 7 5 ] [ 4 7 2 5 ] = [ 4 2 + 2 2 4 ? 7 + 2 ? 5 7 ? 4 + 5 ? 2 7 2 + 5 2 ] = [ 20 38 38 74 ] A^T = \begin{bmatrix} 4 & 2 \\ 7 & 5 \end{bmatrix}, \quad A^T A = \begin{bmatrix} 4 & 2 \\ 7 & 5 \end{bmatrix} \begin{bmatrix} 4 & 7 \\ 2 & 5 \end{bmatrix} = \begin{bmatrix} 4^2 + 2^2 & 4\cdot7 + 2\cdot5 \\ 7\cdot4 + 5\cdot2 & 7^2 + 5^2 \end{bmatrix} = \begin{bmatrix} 20 & 38 \\ 38 & 74 \end{bmatrix} AT=[47?25?],ATA=[47?25?][42?75?]=[42+227?4+5?2?4?7+2?572+52?]=[2038?3874?]
? 步驟二:求 A T A A^T A ATA 的特征值
設 M = A T A = [ 20 38 38 74 ] M = A^T A = \begin{bmatrix} 20 & 38 \\ 38 & 74 \end{bmatrix} M=ATA=[2038?3874?]
特征方程為:
det ? ( M ? λ I ) = ∣ 20 ? λ 38 38 74 ? λ ∣ = ( 20 ? λ ) ( 74 ? λ ) ? 3 8 2 \det(M - \lambda I) = \begin{vmatrix} 20 - \lambda & 38 \\ 38 & 74 - \lambda \end{vmatrix} = (20 - \lambda)(74 - \lambda) - 38^2 det(M?λI)= ?20?λ38?3874?λ? ?=(20?λ)(74?λ)?382
展開:
( 20 ? λ ) ( 74 ? λ ) = 1480 ? 94 λ + λ 2 3 8 2 = 1444 (20 - \lambda)(74 - \lambda) = 1480 - 94\lambda + \lambda^2 \\ 38^2 = 1444 (20?λ)(74?λ)=1480?94λ+λ2382=1444
所以特征方程為:
λ 2 ? 94 λ + 36 = 0 \lambda^2 - 94\lambda + 36 = 0 λ2?94λ+36=0
使用求根公式:
λ = 94 ± 9 4 2 ? 4 ? 1 ? 36 2 = 94 ± 8836 ? 144 2 = 94 ± 8692 2 \lambda = \frac{94 \pm \sqrt{94^2 - 4 \cdot 1 \cdot 36}}{2} = \frac{94 \pm \sqrt{8836 - 144}}{2} = \frac{94 \pm \sqrt{8692}}{2} λ=294±942?4?1?36??=294±8836?144??=294±8692??
8692 ≈ 93.23 ? λ 1 ≈ 94 + 93.23 2 = 93.615 , λ 2 ≈ 94 ? 93.23 2 = 0.385 \sqrt{8692} \approx 93.23 \Rightarrow \lambda_1 \approx \frac{94 + 93.23}{2} = 93.615, \quad \lambda_2 \approx \frac{94 - 93.23}{2} = 0.385 8692?≈93.23?λ1?≈294+93.23?=93.615,λ2?≈294?93.23?=0.385
? 步驟三:取最大特征值的平方根
∥ A ∥ 2 = λ max ? = 93.615 ≈ 9.68 \|A\|_2 = \sqrt{\lambda_{\max}} = \sqrt{93.615} \approx 9.68 ∥A∥2?=λmax??=93.615?≈9.68
? 對 A ? 1 A^{-1} A?1 做同樣的操作
先寫出:
A ? 1 = [ 5 6 ? 7 6 ? 1 3 2 3 ] ? ( A ? 1 ) T = [ 5 6 ? 1 3 ? 7 6 2 3 ] A^{-1} = \begin{bmatrix} \frac{5}{6} & -\frac{7}{6} \\ -\frac{1}{3} & \frac{2}{3} \end{bmatrix} \Rightarrow (A^{-1})^T = \begin{bmatrix} \frac{5}{6} & -\frac{1}{3} \\ -\frac{7}{6} & \frac{2}{3} \end{bmatrix} A?1=[65??31???67?32??]?(A?1)T=[65??67???31?32??]
計算 ( A ? 1 ) T A ? 1 (A^{-1})^T A^{-1} (A?1)TA?1:
( A ? 1 ) T A ? 1 = [ 5 6 ? 1 3 ? 7 6 2 3 ] [ 5 6 ? 7 6 ? 1 3 2 3 ] = [ ( 5 6 ) 2 + ( ? 1 3 ) 2 5 6 ? ( ? 7 6 ) + ( ? 1 3 ) ? 2 3 ( ? 7 6 ) ? 5 6 + 2 3 ? ( ? 1 3 ) ( ? 7 6 ) 2 + ( 2 3 ) 2 ] (A^{-1})^T A^{-1} = \begin{bmatrix} \frac{5}{6} & -\frac{1}{3} \\ -\frac{7}{6} & \frac{2}{3} \end{bmatrix} \begin{bmatrix} \frac{5}{6} & -\frac{7}{6} \\ -\frac{1}{3} & \frac{2}{3} \end{bmatrix} = \begin{bmatrix} \left(\frac{5}{6}\right)^2 + \left(-\frac{1}{3}\right)^2 & \frac{5}{6} \cdot \left(-\frac{7}{6}\right) + \left(-\frac{1}{3}\right)\cdot\frac{2}{3} \\ \left(-\frac{7}{6}\right)\cdot\frac{5}{6} + \frac{2}{3}\cdot\left(-\frac{1}{3}\right) & \left(-\frac{7}{6}\right)^2 + \left(\frac{2}{3}\right)^2 \end{bmatrix} (A?1)TA?1=[65??67???31?32??][65??31???67?32??]=[(65?)2+(?31?)2(?67?)?65?+32??(?31?)?65??(?67?)+(?31?)?32?(?67?)2+(32?)2?]
逐項計算:
- 第 (1,1) 項: 25 36 + 1 9 = 25 36 + 4 36 = 29 36 \frac{25}{36} + \frac{1}{9} = \frac{25}{36} + \frac{4}{36} = \frac{29}{36} 3625?+91?=3625?+364?=3629?
- 第 (1,2) 項: ? 35 36 ? 2 9 = ? 35 36 ? 8 36 = ? 43 36 -\frac{35}{36} - \frac{2}{9} = -\frac{35}{36} - \frac{8}{36} = -\frac{43}{36} ?3635??92?=?3635??368?=?3643?
- 第 (2,2) 項: 49 36 + 4 9 = 49 36 + 16 36 = 65 36 \frac{49}{36} + \frac{4}{9} = \frac{49}{36} + \frac{16}{36} = \frac{65}{36} 3649?+94?=3649?+3616?=3665?
所以:
( A ? 1 ) T A ? 1 = [ 29 36 ? 43 36 ? 43 36 65 36 ] (A^{-1})^T A^{-1} = \begin{bmatrix} \frac{29}{36} & -\frac{43}{36} \\ -\frac{43}{36} & \frac{65}{36} \end{bmatrix} (A?1)TA?1=[3629??3643???3643?3665??]
接下來求這個矩陣的最大特征值:
特征方程:
det ? ( [ 29 36 ? λ ? 43 36 ? 43 36 65 36 ? λ ] ) = 0 \det\left( \begin{bmatrix} \frac{29}{36} - \lambda & -\frac{43}{36} \\ -\frac{43}{36} & \frac{65}{36} - \lambda \end{bmatrix} \right) = 0 det([3629??λ?3643???3643?3665??λ?])=0
( 29 36 ? λ ) ( 65 36 ? λ ) ? ( 43 36 ) 2 = 0 \left(\frac{29}{36} - \lambda\right)\left(\frac{65}{36} - \lambda\right) - \left(\frac{43}{36}\right)^2 = 0 (3629??λ)(3665??λ)?(3643?)2=0
展開得:
λ 2 ? ( 94 36 ) λ + ( 29 ? 65 ? 4 3 2 3 6 2 ) = 0 \lambda^2 - \left(\frac{94}{36}\right)\lambda + \left(\frac{29\cdot65 - 43^2}{36^2}\right) = 0 λ2?(3694?)λ+(36229?65?432?)=0
計算常數項:
- 29 ? 65 = 1885 29 \cdot 65 = 1885 29?65=1885
- 4 3 2 = 1849 43^2 = 1849 432=1849
- 所以分子為 1885 ? 1849 = 36 1885 - 1849 = 36 1885?1849=36
代入后:
λ 2 ? 94 36 λ + 36 1296 = λ 2 ? 94 36 λ + 1 36 = 0 \lambda^2 - \frac{94}{36}\lambda + \frac{36}{1296} = \lambda^2 - \frac{94}{36}\lambda + \frac{1}{36} = 0 λ2?3694?λ+129636?=λ2?3694?λ+361?=0
用求根公式解:
λ = 94 36 ± ( 94 36 ) 2 ? 4 36 2 ≈ 2.611 ± 6.817 ? 0.111 2 = 2.611 ± 6.706 2 ≈ 2.611 ± 2.590 2 \lambda = \frac{\frac{94}{36} \pm \sqrt{\left(\frac{94}{36}\right)^2 - \frac{4}{36}}}{2} \approx \frac{2.611 \pm \sqrt{6.817 - 0.111}}{2} = \frac{2.611 \pm \sqrt{6.706}}{2} \approx \frac{2.611 \pm 2.590}{2} λ=23694?±(3694?)2?364???≈22.611±6.817?0.111??=22.611±6.706??≈22.611±2.590?
得到兩個特征值:
- λ 1 ≈ 5.201 2 = 2.6005 \lambda_1 \approx \frac{5.201}{2} = 2.6005 λ1?≈25.201?=2.6005
- λ 2 ≈ 0.021 2 = 0.0105 \lambda_2 \approx \frac{0.021}{2} = 0.0105 λ2?≈20.021?=0.0105
所以:
∥ A ? 1 ∥ 2 = λ max ? = 2.6005 ≈ 1.613 \|A^{-1}\|_2 = \sqrt{\lambda_{\max}} = \sqrt{2.6005} \approx 1.613 ∥A?1∥2?=λmax??=2.6005?≈1.613
? 最終結果總結
矩陣 | 譜范數 |
---|---|
A A A | ∣ A ∣ 2 ≈ 9.68 |A|_2 \approx 9.68 ∣A∣2?≈9.68 |
A ? 1 A^{-1} A?1 | ∣ A ? 1 ∣ 2 ≈ 1.613 |A^{-1}|_2 \approx 1.613 ∣A?1∣2?≈1.613 |
📌 驗證關系: ∥ A ? 1 ∥ ≥ 1 ∥ A ∥ \|A^{-1}\| \geq \frac{1}{\|A\|} ∥A?1∥≥∥A∥1?
1 ∥ A ∥ ≈ 1 9.68 ≈ 0.1033 < 1.613 = ∥ A ? 1 ∥ \frac{1}{\|A\|} \approx \frac{1}{9.68} \approx 0.1033 < 1.613 = \|A^{-1}\| ∥A∥1?≈9.681?≈0.1033<1.613=∥A?1∥
? 成立!