低秩分解的本質是通過基矩陣和系數矩陣的線性組合，以最小的存儲和計算代價近似表示復雜矩陣

flyfish

一、最基礎起點：數字與數組

1. 數字與標量（Scalar）

   • 單獨的數，如 $1,2.5,?3$，只表示大小，沒有方向。
   • 例子：蘋果單價5元，“5”是標量。

2. 數組（Array）：數字的有序排列

   • 按順序排列的一組數，用括號括起來，如 $(1,2,3)$ 或 $\left(\begin{array}{c}1\\ 2\\ 3\end{array}\right)$。
   • 區別：
     • 橫排叫行數組：$(a_1,a_2,\dots ,a_n)$，
     • 豎排叫列數組：$\left(\begin{array}{c}{a}_1\\ a_2\\ ?\\ a_n\end{array}\right)$。

二、向量：一維數組的數學名稱

1. 向量（Vector）的定義

   • 行向量：1行n列的數組，如 $\vec{v}=(v_1,v_2,v_3)$，
   • 列向量：n行1列的數組，如 $\vec{u}=\left(\begin{array}{c}{u}_1\\ u_2\\ u_3\end{array}\right)$。
   • 本質：向量是“帶方向的量”，但初學者可先理解為“有序數組”。

2. 向量的線性組合

   • 用常數乘以向量再相加，如 $2\vec{v}+3\vec{u}$，結果仍是向量。
   • 例子：$\vec{v}=(1,2)$，$\vec{u}=(3,4)$，則 $2\vec{v}+3\vec{u}=(2\times 1+3\times 3,2\times 2+3\times 4)=(11,16)$。

三、矩陣：二維數組的“表格”

1. 矩陣（Matrix）的結構

   • 由行和列組成的表格，如 $m$ 行 $n$ 列矩陣記作 $m\times n$，每個位置元素用 $a_{ij}$ 表示（第 $i$ 行第 $j$ 列）。
   • 例子：2×3矩陣
     $$A=\left(\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\end{array}\right)=\left(\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\end{array}\right)$$
     • 第1行：$(1,2,3)$，第2行：$(4,5,6)$，
     • 第1列：$\left(\begin{array}{c}1\\ 4\end{array}\right)$，第2列：$\left(\begin{array}{c}2\\ 5\end{array}\right)$，第3列：$\left(\begin{array}{c}3\\ 6\end{array}\right)$。

2. 特殊矩陣：向量的擴展

   • 行向量 = 1×n矩陣，列向量 = n×1矩陣，
   • 單位矩陣 $I$：主對角線為1，其余為0的方陣（如 $\left(\begin{array}{cc}1& 0\\ 0& 1\end{array}\right)$）。

四、矩陣乘法：從點積到“行列配對”

1. 向量點積（Dot Product）：兩個向量的“匹配度”

   • 條件：兩個向量長度相同，對應元素相乘后求和，結果是一個數。
   • 公式：$\vec{a}?\vec{b}=a_1{b}_1+a_2{b}_2+?+a_n{b}_n$
   • 例子：$\vec{a}=(1,2,3)$，$\vec{b}=(4,5,6)$，
     $$\vec{a}?\vec{b}=1\times 4+2\times 5+3\times 6=4+10+18=32$$

2. 矩陣乘法：行與列的點積組合

   • 條件：左矩陣的列數 = 右矩陣的行數，如 $m\times n$ 矩陣 × $n\times p$ 矩陣 = $m\times p$ 矩陣。
   • 計算步驟：結果矩陣的第 $i$ 行第 $j$ 列元素 = 左矩陣第 $i$ 行與右矩陣第 $j$ 列的點積。
   • 例子：
     $$A=\left(\begin{array}{cc}1& 2\\ 3& 4\end{array}\right)(2\times 2),B=\left(\begin{array}{cc}5& 6\\ 7& 8\end{array}\right)(2\times 2)$$
     • 計算 $AB$ 的第1行第1列：
       $A$ 第1行 $(1,2)$ · $B$ 第1列 $\left(\begin{array}{c}5\\ 7\end{array}\right)=1\times 5+2\times 7=19$，
     • 第1行第2列：$(1,2)?\left(\begin{array}{c}6\\ 8\end{array}\right)=1\times 6+2\times 8=22$，
     • 第2行第1列：$(3,4)?\left(\begin{array}{c}5\\ 7\end{array}\right)=3\times 5+4\times 7=43$，
     • 第2行第2列：$(3,4)?\left(\begin{array}{c}6\\ 8\end{array}\right)=3\times 6+4\times 8=50$，
     • 結果：
       $$AB=\left(\begin{array}{cc}19& 22\\ 43& 50\end{array}\right)$$

五、秩（Rank）：矩陣的“獨立信息數量”

1. 線性相關與無關：向量間的“依賴關系”

   • 線性相關：存在非零常數 $k$，使向量 $\vec{a}=k\vec{b}$（即一個向量是另一個的倍數）。
     • 例子：$\vec{a}=(1,2)$，$\vec{b}=(2,4)$，因 $\vec{b}=2\vec{a}$，二者線性相關。
   • 線性無關：不存在非零常數使 $\vec{a}=k\vec{b}$，即向量“互不依賴”。
     • 例子：$\vec{a}=(1,2)$，$\vec{b}=(2,1)$，無法用倍數關系表示，線性無關。

2. 秩的定義：矩陣中線性無關的行/列向量數

   • 矩陣 $A$ 的秩 $\text{rank}(A)=r$，表示：
     • 有 $r$ 個行向量線性無關，其余行可由它們組合而成；
     • 或有 $r$ 個列向量線性無關，其余列可由它們組合而成。
   • 例子：
     $$A=\left(\begin{array}{ccc}1& 2& 3\\ 2& 4& 6\end{array}\right)$$
     • 第2行是第1行的2倍，行向量線性相關，故 $\text{rank}(A)=1$；
     • 列向量中，第2列=2×第1列，第3列=3×第1列，所有列可由第1列表示，故線性無關的列數=1，秩=1。

六、滿秩矩陣：秩與行列數的“相等關系”

1. 列滿秩（Column Full Rank）

   • 若矩陣 $B$ 的列向量都線性無關，則 $\text{rank}(B)=$ 列數 $r$，稱 $B$ 列滿秩。
   • 例子：
     $$B=\left(\begin{array}{cc}1& 0\\ 0& 1\\ 2& 3\end{array}\right)(3\times 2\text{矩陣})$$
     • 列向量 $\left(\begin{array}{c}1\\ 0\\ 2\end{array}\right)$ 和 $\left(\begin{array}{c}0\\ 1\\ 3\end{array}\right)$ 不成倍數，線性無關，故 $\text{rank}(B)=2=$ 列數，列滿秩。

2. 行滿秩與滿秩方陣

   • 行滿秩：行向量線性無關，$\text{rank}=$ 行數；
   • 滿秩方陣：行列數相同且 $\text{rank}=$ 行數=列數（如單位矩陣）。

七、基矩陣：構建矩陣的“基礎零件”

1. 基向量（Basis Vector）：空間的“最小零件”

   • 一組線性無關的向量，能通過線性組合表示空間中所有向量，且數量最少。
   • 例子：二維平面中，${\vec{e}}_1=(1,0)$ 和 ${\vec{e}}_2=(0,1)$ 是一組基向量，任意向量 $(a,b)=a{\vec{e}}_1+b{\vec{e}}_2$。

2. 基矩陣（Basis Matrix）：基向量的集合

   • 由基向量組成的矩陣，每一列是一個基向量，且列滿秩。
   • 例子：若矩陣 $A$ 的列向量為 $\left(\begin{array}{c}1\\ 2\end{array}\right),\left(\begin{array}{c}2\\ 4\end{array}\right),\left(\begin{array}{c}3\\ 6\end{array}\right)$，所有列都是 $\left(\begin{array}{c}1\\ 2\end{array}\right)$ 的倍數，故基矩陣取第一列：
     $$B=\left(\begin{array}{c}1\\ 2\end{array}\right)(\text{基矩陣，1列，列滿秩})$$

八、系數矩陣：基向量的“組裝說明書”

1. 系數（Coefficient）：基向量的“用量”

   • 表示目標向量由多少倍的基向量組合而成，如 $(3,6)=3\times \left(\begin{array}{c}1\\ 2\end{array}\right)$，“3”是系數。

2. 系數矩陣（Coefficient Matrix）：所有系數的表格

   • 若原矩陣 $A$ 的每一列都是基矩陣 $B$ 的線性組合，則系數按列排列成矩陣 $C$。
   • 例子：$A=\left(\begin{array}{ccc}1& 2& 3\\ 2& 4& 6\end{array}\right)$，各列與基矩陣 $B=\left(\begin{array}{c}1\\ 2\end{array}\right)$ 的關系：
     • 第1列：$1\times B$，系數1；
     • 第2列：$2\times B$，系數2；
     • 第3列：$3\times B$，系數3；
       故系數矩陣為行矩陣：
       $$C=(123)(\text{1行3列，每行對應A的一列系數})$$

九、矩陣分解：用“基×系數”還原原矩陣

1. 分解公式：$A=BC$ 的計算驗證

   • 基矩陣 $B$（$m\times r$） × 系數矩陣 $C$（$r\times n$） = 原矩陣 $A$（$m\times n$），其中 $r=\text{rank}(A)$。
   • 例子：分解 $A=\left(\begin{array}{ccc}1& 2& 3\\ 2& 4& 6\end{array}\right)$，$r=1$：
     $$B=\left(\begin{array}{c}1\\ 2\end{array}\right)(2\times 1),C=(123)(1\times 3)$$
     計算 $BC$：
     $$\left(\begin{array}{c}1\\ 2\end{array}\right)(123)=\left(\begin{array}{ccc}1\times 1& 1\times 2& 1\times 3\\ 2\times 1& 2\times 2& 2\times 3\end{array}\right)=\left(\begin{array}{ccc}1& 2& 3\\ 2& 4& 6\end{array}\right)=A$$
     • 每一行的計算：$B$ 的每行（其實是每個元素）與 $C$ 的每列點積，因 $B$ 和 $C$ 只有1列/行，點積即數值相乘。

2. 低秩分解的本質：壓縮信息的“核心邏輯”

   • 原矩陣 $A$ 有 $m\times n$ 個元素，分解后 $B$ 和 $C$ 共有 $m\times r+r\times n$ 個元素，當 $r?m,n$ 時，元素量大幅減少（如 $m=n=1000,r=10$，原100萬元素→分解后2萬元素，壓縮50倍）。
   • 類比：基矩陣 $B$ 是“不同顏色的積木塊”，系數矩陣 $C$ 是“每個積木用多少塊”，原矩陣 $A$ 是“搭好的模型”，分解即“拆模型為積木+圖紙”，存儲量減少。

十、圖示

數字 → 數組 → 向量（行/列） → 矩陣（行列表格）  
↓            ↓               ↓  
線性組合     點積           矩陣乘法（行×列點積）  
↓            ↓               ↓  
線性相關/無關 → 秩（獨立向量數） → 滿秩（秩=行列數）  
↓                            ↓  
基向量（線性無關組） → 基矩陣（列滿秩）  
↓                            ↓  
系數（基的用量） → 系數矩陣（記錄所有用量）  
↓                            ↓  矩陣分解（基矩陣×系數矩陣=原矩陣）

低秩分解的本質是通過基矩陣和系數矩陣的線性組合，以最小的存儲和計算代價近似表示復雜矩陣

### 基礎層：數據結構的演化
┌──────────────────────────────────────┐
│ 基礎層：數據結構的演化                │
├──────────────────────────────────────┤
│ 數字（標量）：5, -3, 2.5               │
└──────────────────────────────────────┘↓（有序排列）
┌──────────────────────────────────────┐
│ 一維數組：[1, 2, 3]                   │
└──────────────────────────────────────┘↓（抽象為向量）
┌──────────────────────────────────────┐
│ 向量：                               │
│   ┌───────────────┐ ┌──────────────┐  │
│   │ 行向量：(1,2,3) │ │ 列向量：?1?  │  │
│   └───────────────┘ │          ?2?   │  │
│                     │          ?3?   │  │
│                     └──────────────┘  │
└──────────────────────────────────────┘↓（二維擴展）
┌──────────────────────────────────────┐
│ 矩陣 A = ?1  2  3? （2×3矩陣，a??=3） │
│          ?2  4  6?                    │
└──────────────────────────────────────┘

### 運算層：從向量到矩陣的運算
┌──────────────────────────────────────┐
│ 運算層：矩陣的基本運算                │
├──────────────────────────────────────┤
│   ┌──────────────┐ ┌─────────────┐  │
│   │ 線性組合      │ │ 點積        │  │
│   └──────────────┘ └─────────────┘  │
│        ↑             ↑             │
│        ↓             ↓             │
│   ┌──────────────┐ ┌─────────────┐  │
│   │ 2×(1,2,3)    │ │ (1,2)·(3,4) │  │
│   │ =(2,4,6)     │ │ =11         │  │
│   └──────────────┘ └─────────────┘  │
│   ┌───────────────────────────────┐  │
│   │ 矩陣乘法（行×列點積）          │  │
│   └───────────────────────────────┘  │
│        ↑                             │
│        ↓                             │
│   ┌───────────────────────────────┐  │
│   │ ?1  2?×?5  6?=?19  22?        │  │
│   │ ?3  4? ?7  8? ?43  50?         │  │
│   └───────────────────────────────┘  │
└──────────────────────────────────────┘

### 性質層：矩陣的代數性質
┌──────────────────────────────────────┐
│ 性質層：矩陣的代數性質                │
├──────────────────────────────────────┤
│   ┌───────────────┐ ┌─────────────┐  │
│   │ 線性相關/無關   │ │ 秩          │  │
│   └───────────────┘ └─────────────┘  │
│        ↑             ↑              │
│        ↓             ↓              │
│   ┌───────────────┐ ┌─────────────┐  │
│   │ A的列向量：    │ │ A中線性無關  │  │
│   │ 2→1=2×1列      │ │ 列數=1      │  │
│   └───────────────┘ └─────────────┘  │
│   ┌───────────────────────────────┐  │
│   │ 滿秩（秩=行列數）              │  │
│   └───────────────────────────────┘  │
│        ↑                             │
│        ↓                             │
│   ┌───────────────────────────────┐  │
│   │ 若矩陣B=?1  0?，秩=2=列數，列滿秩│  │
│   │       ?0  1?                   │  │
│   └───────────────────────────────┘  │
└──────────────────────────────────────┘

### 分解層：矩陣的低秩分解
┌──────────────────────────────────────┐
│ 分解層：矩陣的低秩分解原理            │
├──────────────────────────────────────┤
│   ┌───────────────┐ ┌─────────────┐  │
│   │ 基向量        │ │ 基矩陣      │  │
│   │ （線性無關組） │ │ （列滿秩）  │  │
│   └───────────────┘ └─────────────┘  │
│        ↑             ↑              │
│        ↓             ↓              │
│   ┌───────────────┐ ┌─────────────┐  │
│   │ A的基向量：    │ │ 基矩陣B=?1?  │  │
│   │ ?1?           │ │         ?2?  │  │
│   │ ?2?           │ └─────────────┘  │
│   └───────────────┘                  │
│        ↑                             │
│        ↓                             │
│   ┌───────────────┐ ┌─────────────┐  │
│   │ 系數          │ │ 系數矩陣C=│  │  │
│   │ （基的用量）  │ │ (1  2  3) │  │  │
│   │              │ │ （1×3，秩=1）│  │
│   └───────────────┘ └─────────────┘  │
│                      ┌─────────────┐  │
│                      │ 矩陣分解 B×C=A │  │
│                      └─────────────┘  │
└──────────────────────────────────────┘