向量外積與秩1矩陣的關系
flyfish
- 向量外積是構造秩1矩陣的基本工具,其本質是用兩組向量的線性組合刻畫矩陣的行和列相關性;
- 任意秩1矩陣必可表示為外積,而低秩矩陣(秩 k k k)可分解為 k k k 個外積矩陣的和,這正是低秩分解通過“基向量組合”壓縮矩陣信息的核心原理。
- 從代數角度,秩1矩陣必為兩個向量的外積 u v T \boldsymbol{u}\boldsymbol{v}^T uvT,其結構由兩個向量唯一確定;
- 從幾何角度,秩1矩陣對應“將任意向量投影到 u \boldsymbol{u} u方向的線性變換”,其變換效果僅由 u \boldsymbol{u} u(像空間方向)和 v \boldsymbol{v} v(投影系數)決定。
- 這種分解是低秩分解的基礎,例如矩陣的奇異值分解(SVD)中,秩1矩陣是構成任意矩陣的“原子單元”。
一、向量外積的定義與幾何意義
1. 向量外積的定義
設兩個列向量 u ∈ R m \mathbf{u} \in \mathbb{R}^m u∈Rm 和 v ∈ R n \mathbf{v} \in \mathbb{R}^n v∈Rn,其外積(Outer Product)定義為矩陣乘法:
u v T = ( u 1 u 2 ? u m ) ( v 1 v 2 ? v n ) = ( u 1 v 1 u 1 v 2 ? u 1 v n u 2 v 1 u 2 v 2 ? u 2 v n ? ? ? ? u m v 1 u m v 2 ? u m v n ) \mathbf{u} \mathbf{v}^T = \begin{pmatrix} u_1 \\ u_2 \\ \vdots \\ u_m \end{pmatrix} \begin{pmatrix} v_1 & v_2 & \cdots & v_n \end{pmatrix} = \begin{pmatrix} u_1v_1 & u_1v_2 & \cdots & u_1v_n \\ u_2v_1 & u_2v_2 & \cdots & u_2v_n \\ \vdots & \vdots & \ddots & \vdots \\ u_mv_1 & u_mv_2 & \cdots & u_mv_n \end{pmatrix} uvT= ?u1?u2??um?? ?(v1??v2????vn??)= ?u1?v1?u2?v1??um?v1??u1?v2?u2?v2??um?v2???????u1?vn?u2?vn??um?vn?? ?
- 外積的結果是一個 m × n m \times n m×n 的矩陣,其每個元素為 u \mathbf{u} u 和 v \mathbf{v} v 對應元素的乘積。
- 對比內積(點積): u ? v = u T v = ∑ i = 1 m u i v i \mathbf{u} \cdot \mathbf{v} = \mathbf{u}^T\mathbf{v} = \sum_{i=1}^m u_i v_i u?v=uTv=∑i=1m?ui?vi?,結果是一個標量;而外積結果是矩陣。
2. 外積矩陣的關鍵性質
以二維向量為例,設 u = ( a b ) \mathbf{u} = \begin{pmatrix} a \\ b \end{pmatrix} u=(ab?), v = ( c d ) \mathbf{v} = \begin{pmatrix} c \\ d \end{pmatrix} v=(cd?),則外積為:
u v T = ( a b ) ( c d ) = ( a c a d b c b d ) \mathbf{u}\mathbf{v}^T = \begin{pmatrix} a \\ b \end{pmatrix} \begin{pmatrix} c & d \end{pmatrix} = \begin{pmatrix} ac & ad \\ bc & bd \end{pmatrix} uvT=(ab?)(c?d?)=(acbc?adbd?)
- 觀察矩陣結構:每一行都是 v T \mathbf{v}^T vT 的倍數(第一行是 a v T a\mathbf{v}^T avT,第二行是 b v T b\mathbf{v}^T bvT),即行向量線性相關;
- 每一列都是 u \mathbf{u} u 的倍數(第一列是 c u c\mathbf{u} cu,第二列是 d u d\mathbf{u} du),即列向量線性相關。
二、秩1矩陣的定義與性質
1. 矩陣秩的定義
矩陣的秩是其線性無關的行向量(或列向量)的最大數量。若一個 m × n m \times n m×n 矩陣 A \mathbf{A} A 的秩為 1,則:
- 所有行向量都是某一非零行向量的標量倍數;
- 所有列向量都是某一非零列向量的標量倍數。
2. 秩1矩陣的核心特征
設 A \mathbf{A} A 是秩1的 m × n m \times n m×n 矩陣,則存在非零向量 u ∈ R m \mathbf{u} \in \mathbb{R}^m u∈Rm 和 v ∈ R n \mathbf{v} \in \mathbb{R}^n v∈Rn,使得 A = u v T \mathbf{A} = \mathbf{u}\mathbf{v}^T A=uvT。
三、原理證明:任意秩1矩陣可表示為外積
步驟1:利用秩1矩陣的行向量線性相關
設 A \mathbf{A} A 的秩為 1,且其第一行 r 1 ≠ 0 \mathbf{r}_1 \neq \mathbf{0} r1?=0,則其他行 r i \mathbf{r}_i ri? 可表示為 r i = k i r 1 \mathbf{r}_i = k_i \mathbf{r}_1 ri?=ki?r1?( k i k_i ki? 為標量)。
令 u = ( 1 k 2 ? k m ) \mathbf{u} = \begin{pmatrix} 1 \\ k_2 \\ \vdots \\ k_m \end{pmatrix} u= ?1k2??km?? ?, v T = r 1 \mathbf{v}^T = \mathbf{r}_1 vT=r1?,則:
u v T = ( 1 k 2 ? k m ) r 1 = ( r 1 k 2 r 1 ? k m r 1 ) = ( r 1 r 2 ? r m ) = A \mathbf{u}\mathbf{v}^T = \begin{pmatrix} 1 \\ k_2 \\ \vdots \\ k_m \end{pmatrix} \mathbf{r}_1 = \begin{pmatrix} \mathbf{r}_1 \\ k_2\mathbf{r}_1 \\ \vdots \\ k_m\mathbf{r}_1 \end{pmatrix} = \begin{pmatrix} \mathbf{r}_1 \\ \mathbf{r}_2 \\ \vdots \\ \mathbf{r}_m \end{pmatrix} = \mathbf{A} uvT= ?1k2??km?? ?r1?= ?r1?k2?r1??km?r1?? ?= ?r1?r2??rm?? ?=A
步驟2:示例驗證
設秩1矩陣 A = ( 2 4 6 ? 1 ? 2 ? 3 3 6 9 ) \mathbf{A} = \begin{pmatrix} 2 & 4 & 6 \\ -1 & -2 & -3 \\ 3 & 6 & 9 \end{pmatrix} A= ?2?13?4?26?6?39? ?,觀察行向量:
- 第二行是第一行的 ? 1 2 -\frac{1}{2} ?21? 倍,第三行是第一行的 3 2 \frac{3}{2} 23? 倍。
取第一行作為 v T = ( 2 4 6 ) \mathbf{v}^T = \begin{pmatrix} 2 & 4 & 6 \end{pmatrix} vT=(2?4?6?),系數向量 u = ( 1 ? 1 2 3 2 ) \mathbf{u} = \begin{pmatrix} 1 \\ -\frac{1}{2} \\ \frac{3}{2} \end{pmatrix} u= ?1?21?23?? ?,則:
u v T = ( 1 ? 1 2 3 2 ) ( 2 4 6 ) = ( 2 4 6 ? 1 ? 2 ? 3 3 6 9 ) = A \mathbf{u}\mathbf{v}^T = \begin{pmatrix} 1 \\ -\frac{1}{2} \\ \frac{3}{2} \end{pmatrix} \begin{pmatrix} 2 & 4 & 6 \end{pmatrix} = \begin{pmatrix} 2 & 4 & 6 \\ -1 & -2 & -3 \\ 3 & 6 & 9 \end{pmatrix} = \mathbf{A} uvT= ?1?21?23?? ?(2?4?6?)= ?2?13?4?26?6?39? ?=A
四、從外積到低秩分解的本質理解
1. 秩1矩陣的“基向量”意義
外積 u v T \mathbf{u}\mathbf{v}^T uvT 可理解為:
- 列向量 u \mathbf{u} u 定義了矩陣的“方向”(所有列都是 u \mathbf{u} u 的線性組合);
- 行向量 v T \mathbf{v}^T vT 定義了矩陣的“權重”(所有行都是 v T \mathbf{v}^T vT 的線性組合)。
因此,秩1矩陣本質上是用兩個向量的外積來“壓縮”矩陣信息,僅保留一組基向量的線性組合。
2. 低秩分解的推廣(以秩k矩陣為例)
任意秩 k k k 的矩陣 A \mathbf{A} A 可分解為 k k k 個秩1矩陣的和:
A = ∑ i = 1 k u i v i T \mathbf{A} = \sum_{i=1}^k \mathbf{u}_i\mathbf{v}_i^T A=i=1∑k?ui?viT?
其中 { u i } \{\mathbf{u}_i\} {ui?} 和 { v i } \{\mathbf{v}_i\} {vi?} 分別為列向量和行向量組。這等價于用 k k k 組外積矩陣的線性組合近似表示 A \mathbf{A} A,而原始矩陣的秩為 k k k,即其信息可由 k k k 組基向量刻畫。
五、簡單示例:秩2矩陣的外積分解
設矩陣 B = ( 1 2 3 2 4 6 1 3 5 ) \mathbf{B} = \begin{pmatrix} 1 & 2 & 3 \\ 2 & 4 & 6 \\ 1 & 3 & 5 \end{pmatrix} B= ?121?243?365? ?,先求其秩:
- 前兩行線性相關(第二行是第一行的2倍),第三行與前兩行線性無關,故 rank ( B ) = 2 \text{rank}(\mathbf{B}) = 2 rank(B)=2。
分解步驟:
- 取前兩行構成秩1矩陣 B 1 = ( 1 2 3 2 4 6 0 0 0 ) = u 1 v 1 T \mathbf{B}_1 = \begin{pmatrix} 1 & 2 & 3 \\ 2 & 4 & 6 \\ 0 & 0 & 0 \end{pmatrix} = \mathbf{u}_1\mathbf{v}_1^T B1?= ?120?240?360? ?=u1?v1T?,其中 u 1 = ( 1 2 0 ) \mathbf{u}_1 = \begin{pmatrix} 1 \\ 2 \\ 0 \end{pmatrix} u1?= ?120? ?, v 1 T = ( 1 2 3 ) \mathbf{v}_1^T = \begin{pmatrix} 1 & 2 & 3 \end{pmatrix} v1T?=(1?2?3?);
- 剩余部分為 B ? B 1 = ( 0 0 0 0 0 0 1 3 5 ) = u 2 v 2 T \mathbf{B} - \mathbf{B}_1 = \begin{pmatrix} 0 & 0 & 0 \\ 0 & 0 & 0 \\ 1 & 3 & 5 \end{pmatrix} = \mathbf{u}_2\mathbf{v}_2^T B?B1?= ?001?003?005? ?=u2?v2T?,其中 u 2 = ( 0 0 1 ) \mathbf{u}_2 = \begin{pmatrix} 0 \\ 0 \\ 1 \end{pmatrix} u2?= ?001? ?, v 2 T = ( 1 3 5 ) \mathbf{v}_2^T = \begin{pmatrix} 1 & 3 & 5 \end{pmatrix} v2T?=(1?3?5?);
- 最終分解: B = u 1 v 1 T + u 2 v 2 T \mathbf{B} = \mathbf{u}_1\mathbf{v}_1^T + \mathbf{u}_2\mathbf{v}_2^T B=u1?v1T?+u2?v2T?。