機器學習數學基礎：19.線性相關與線性無關

一、線性相關與線性無關的定義

（一）線性相關

想象我們有一組向量，就好比是一群有著不同“力量”和“方向”的小伙伴。給定的向量組 $\vec{\alpha}_1, \vec{\alpha}_2, \cdots, \vec{\alpha}_m$ ，如果能找到不全為零的數 $k_1, k_2, \cdots, k_m$ ，讓 $k_1\vec{\alpha}_1 + k_2\vec{\alpha}_2 + \cdots + k_m\vec{\alpha}_m \ = \vec{0}$ 成立，那這組向量就是線性相關的。

舉個例子，在一個二維平面里，有向量 $\vec{\alpha}_1 \ = \begin{pmatrix}1\\1\end{pmatrix}$ 和 $\vec{\alpha}_2 \ = \begin{pmatrix}2\\2\end{pmatrix}$ 。我們試著找一些數讓它們的組合等于零向量。嘿，發現當 $k_1 \ = -2$ ， $k_2 \ = 1$ 的時候（這兩個數不全是 $0$ 哦）， $-2\begin{pmatrix}1\\1\end{pmatrix} + 1\begin{pmatrix}2\\2\end{pmatrix} \ = \begin{pmatrix}-2 + 2\\-2 + 2\end{pmatrix} \ = \begin{pmatrix}0\\0\end{pmatrix}$ 。這就說明這兩個向量之間存在一種“特殊關系”，它們是線性相關的。從直觀上看， $\vec{\alpha}_2$ 就像是 $\vec{\alpha}_1$ 的“雙胞胎加強版”，方向完全一樣，只是長度不同，所以它們之間不是相互獨立的。

（二）線性無關

還是那組向量小伙伴，如果只有當 $k_1 \ = k_2 \ = \cdots \ = k_m \ = 0$ 時，才有 $k_1\vec{\alpha}_1 + k_2\vec{\alpha}_2 + \cdots + k_m\vec{\alpha}_m \ = \vec{0}$ ，那這組向量就是線性無關的。

比如在平面直角坐標系中的兩個單位向量 $\vec{e}_1 \ = \begin{pmatrix}1\\0\end{pmatrix}$ 和 $\vec{e}_2 \ = \begin{pmatrix}0\\1\end{pmatrix}$ 。我們來假設一下，要是存在兩個數 $k_1$ 和 $k_2$ ，讓 $k_1\vec{e}_1 + k_2\vec{e}_2 \ = \vec{0}$ ，也就是 $k_1\begin{pmatrix}1\\0\end{pmatrix} + k_2\begin{pmatrix}0\\1\end{pmatrix} \ = \begin{pmatrix}k_1\\k_2\end{pmatrix} \ = \begin{pmatrix}0\\0\end{pmatrix}$ ，那只能是 $k_1 \ = 0$ 而且 $k_2 \ = 0$ 。沒有其他非零的數能讓這個等式成立，這就表明 $\vec{e}_1$ 和 $\vec{e}_2$ 是相互獨立的，它們組成的向量組就是線性無關的。從幾何角度看， $\vec{e}_1$ 沿著 $x$ 軸方向， $\vec{e}_2$ 沿著 $y$ 軸方向，它們相互垂直，誰也不“依賴”誰。

二、從線性方程組角度理解

（一）線性相關

線性相關這件事，其實可以和齊次線性方程組聯系起來。我們把向量組 $\vec{\alpha}_1, \vec{\alpha}_2, \cdots, \vec{\alpha}_m$ 當作系數矩陣 $A$ 的列向量，也就是 $\ = (\vec{\alpha}_1, \vec{\alpha}_2, \cdots, \vec{\alpha}_m)$ 。那么 $k_1\vec{\alpha}_1 + k_2\vec{\alpha}_2 + \cdots + k_m\vec{\alpha}_m \ = \vec{0}$ 就相當于齊次線性方程組 $\ = 0$ （這里 $\ = \begin{pmatrix}k_1\\k_2\\\vdots\\k_m\end{pmatrix}$ ）有非零解。

比如說前面那個線性相關的例子，向量組 $\vec{\alpha}_1 \ = \begin{pmatrix}1\\1\end{pmatrix}$ 和 $\vec{\alpha}_2 \ = \begin{pmatrix}2\\2\end{pmatrix}$ ，對應的系數矩陣 $\ = \begin{pmatrix}1&2\\1&2\end{pmatrix}$ ，齊次線性方程組就是 $\begin{pmatrix}1&2\\1&2\end{pmatrix}\begin{pmatrix}k_1\\k_2\end{pmatrix} \ = \begin{pmatrix}0\\0\end{pmatrix}$ 。我們來解這個方程組，從第一個方程 $k_1 + 2k_2 \ = 0$ ，可以得到 $k_1 \ = -2k_2$ 。那我們隨便讓 $k_2 \ = 1$ ， $k_1$ 就等于 $? 2$ 了，這就是一組非零解呀。這就說明這個齊次線性方程組有非零解，也就意味著向量組是線性相關的。

（二）線性無關

線性無關呢，就表示對應的齊次線性方程組僅有零解。同樣是由向量組構成的系數矩陣 $A$ ，齊次線性方程組 $\ = 0$ 只有 $\ = 0$ （也就是 $k_1 \ = k_2 \ = \cdots \ = k_m \ = 0$ ）這一個解。

像剛才說的單位向量組 $\vec{e}_1 \ = \begin{pmatrix}1\\0\end{pmatrix}$ 和 $\vec{e}_2 \ = \begin{pmatrix}0\\1\end{pmatrix}$ ，它們的系數矩陣 $\ = \begin{pmatrix}1&0\\0&1\end{pmatrix}$ ，對應的齊次線性方程組 $\begin{pmatrix}1&0\\0&1\end{pmatrix}\begin{pmatrix}k_1\\k_2\end{pmatrix} \ = \begin{pmatrix}0\\0\end{pmatrix}$ 。根據矩陣乘法，很明顯只能得到 $k_1 \ = 0$ 并且 $k_2 \ = 0$ ，這是這個方程組唯一的解，也就是僅有零解，所以這個向量組是線性無關的。

三、線性相關性的判斷方法

（一）根據定義判斷

假設有向量組 $\vec{\gamma}_1, \vec{\gamma}_2, \cdots, \vec{\gamma}_n$ ，我們先假設存在數 $k_1, k_2, \cdots, k_n$ ，讓 $k_1\vec{\gamma}_1 + k_2\vec{\gamma}_2 + \cdots + k_n\vec{\gamma}_n \ = \vec{0}$ 。然后就像解方程一樣，去試著找出 $k_1, k_2, \cdots, k_n$ 的值。要是能找到不全為零的數滿足這個等式，那這個向量組就是線性相關的；要是只能得到 $k_1 \ = k_2 \ = \cdots \ = k_n \ = 0$ ，那這個向量組就是線性無關的。

舉個復雜點的例子，有向量組 $\vec{\gamma}_1 \ = \begin{pmatrix}1\\1\\0\end{pmatrix}$ ， $\vec{\gamma}_2 \ = \begin{pmatrix}0\\1\\1\end{pmatrix}$ ， $\vec{\gamma}_3 \ = \begin{pmatrix}1\\2\\1\end{pmatrix}$ 。設 $k_1\vec{\gamma}_1 + k_2\vec{\gamma}_2 + k_3\vec{\gamma}_3 \ = \vec{0}$ ，也就是 $k_1\begin{pmatrix}1\\1\\0\end{pmatrix} + k_2\begin{pmatrix}0\\1\\1\end{pmatrix} + k_3\begin{pmatrix}1\\2\\1\end{pmatrix} \ = \begin{pmatrix}k_1 + k_3\\k_1 + k_2 + 2k_3\\k_2 + k_3\end{pmatrix} \ = \begin{pmatrix}0\\0\\0\end{pmatrix}$ ，這樣就得到了一個方程組 $\begin{cases}k_1 + k_3 \ = 0\\k_1 + k_2 + 2k_3 \ = 0\\k_2 + k_3 \ = 0\end{cases}$ 。

我們來解這個方程組，從第一個方程 $k_1 \ = -k_3$ ，把它代入第二個方程，就得到 $k_3 + k_2 + 2k_3 \ = 0$ ，也就是 $k_2 + k_3 \ = 0$ ，這和第三個方程是一樣的。再把 $k_1 \ = -k_3$ 代入第三個方程，能得到 $k_2 - k_1 \ = 0$ ，也就是 $k_2 \ = k_1$ 。最后解得 $k_1 \ = k_2 \ = k_3 \ = 0$ ，所以這個向量組是線性無關的。

（二）利用矩陣求解判斷

我們把向量組里的向量都拿出來，依次作為矩陣 $A$ 的列向量。然后對矩陣 $A$ 進行一些操作，也就是初等行變換，把它變成行階梯形矩陣。這個行階梯形矩陣中非零行的行數，就是矩陣的秩 $r (A)$ ，它表示矩陣里線性無關的行（或列）向量的最大個數。

如果行階梯形矩陣中非零行的行數（也就是矩陣的秩 $r (A)$ ）小于向量的個數 $m$ ，那就說明向量組是線性相關的；要是 $\ = m$ ，那向量組就是線性無關的。

比如說有向量組 $\vec{\delta}_1 \ = \begin{pmatrix}1\\2\\3\end{pmatrix}$ ， $\vec{\delta}_2 \ = \begin{pmatrix}2\\4\\6\end{pmatrix}$ ， $\vec{\delta}_3 \ = \begin{pmatrix}3\\6\\9\end{pmatrix}$ ，我們把它們構成矩陣 $\ = \begin{pmatrix}1&2&3\\2&4&6\\3&6&9\end{pmatrix}$ 。

對它進行初等行變換：

先把第二行減去第一行的 $2$ 倍，第三行減去第一行的 $3$ 倍，就得到 $\begin{pmatrix}1&2&3\\0&0&0\\0&0&0\end{pmatrix}$ 。

你看，這個行階梯形矩陣中非零行的行數是 $1$ ，也就是矩陣的秩 $\ = 1$ ，而這里向量的個數 $\ = 3$ ，因為 $1 < 3$ ，所以這個向量組是線性相關的。

四、線性相關性的推論

（一）相關向量組增加向量后仍相關

假如有一個向量組 $\vec{\alpha}_1, \vec{\alpha}_2, \cdots, \vec{\alpha}_m$ 是線性相關的，這就好比一群小伙伴里已經存在一些“依賴關系”了。那如果我們再往這個向量組里增加任意數量的向量 $\vec{\alpha}_{m + 1}, \vec{\alpha}_{m + 2}, \cdots, \vec{\alpha}_{m + s}$ ，得到的新向量組 $\vec{\alpha}_1, \vec{\alpha}_2, \cdots, \vec{\alpha}_m, \vec{\alpha}_{m + 1}, \vec{\alpha}_{m + 2}, \cdots, \vec{\alpha}_{m + s}$ 還是線性相關的。

為什么呢？因為原來的向量組線性相關，所以肯定存在不全為零的數 $k_1, k_2, \cdots, k_m$ ，讓 $k_1\vec{\alpha}_1 + k_2\vec{\alpha}_2 + \cdots + k_m\vec{\alpha}_m \ = \vec{0}$ 。對于新的向量組，我們可以讓增加的這些向量前面的系數 $k_{m + 1} \ = k_{m + 2} \ = \cdots \ = k_{m + s} \ = 0$ ，這樣 $k_1\vec{\alpha}_1 + k_2\vec{\alpha}_2 + \cdots + k_m\vec{\alpha}_m + k_{m + 1}\vec{\alpha}_{m + 1} + k_{m + 2}\vec{\alpha}_{m + 2} + \cdots + k_{m + s}\vec{\alpha}_{m + s} \ = \vec{0}$ ，而且 $k_1, k_2, \cdots, k_m, k_{m + 1}, k_{m + 2}, \cdots, k_{m + s}$ 不全為零，所以新向量組還是線性相關的。

比如已知向量組 $\vec{\alpha}_1 \ = \begin{pmatrix}1\\1\end{pmatrix}$ ， $\vec{\alpha}_2 \ = \begin{pmatrix}2\\2\end{pmatrix}$ 是線性相關的（前面驗證過啦），現在增加向量 $\vec{\alpha}_3 \ = \begin{pmatrix}3\\4\end{pmatrix}$ ，因為 $-2\vec{\alpha}_1 + 1\vec{\alpha}_2 + 0\vec{\alpha}_3 \ = \vec{0}$ ，有不全為零的系數 $? 2, 1, 0$ ，所以新的向量組 $\vec{\alpha}_1, \vec{\alpha}_2, \vec{\alpha}_3$ 就是線性相關的。

（二）無關向量組增加向量后情況分析

要是一個向量組是線性無關的，增加向量后新向量組的情況就有點復雜啦，它可能線性相關，也可能線性無關。

可能線性相關的情況：在一個二維空間里，有向量組 $\vec{e}_1 \ = \begin{pmatrix}1\\0\end{pmatrix}$ ， $\vec{e}_2 \ = \begin{pmatrix}0\\1\end{pmatrix}$ ，它們是線性無關的，就像直角坐標系里的兩個“坐標軸方向”。要是我們增加一個向量 $\vec{e}_3 \ = \begin{pmatrix}1\\1\end{pmatrix}$ ，設 $k_1\vec{e}_1 + k_2\vec{e}_2 + k_3\vec{e}_3 \ = \vec{0}$ ，也就是 $k_1\begin{pmatrix}1\\0\end{pmatrix} + k_2\begin{pmatrix}0\\1\end{pmatrix} + k_3\begin{pmatrix}1\\1\end{pmatrix} \ = \begin{pmatrix}k_1 + k_3\\k_2 + k_3\end{pmatrix} \ = \begin{pmatrix}0\\0\end{pmatrix}$ ，這樣就得到方程組 $\begin{cases}k_1 + k_3 \ = 0\\k_2 + k_3 \ = 0\end{cases}$ 。我們令 $k_3 \ = 1$ ，那 $k_1 \ = -1$ ， $k_2 \ = -1$ ，這就找到了不全為零的解，所以新的向量組 $\vec{e}_1, \vec{e}_2, \vec{e}_3$ 就是線性相關的。
可能線性無關的情況：在三維空間里，有向量組 $\vec{e}_1 \ = \begin{pmatrix}1\\0\\0\end{pmatrix}$ ， $\vec{e}_2 \ = \begin{pmatrix}0\\1\\0\end{pmatrix}$ ，它們是線性無關的。要是增加向量 $\vec{e}_3 \ = \begin{pmatrix}0\\0\\1\end{pmatrix}$ ，設 $k_1\vec{e}_1 + k_2\vec{e}_2 + k_3\vec{e}_3 \ = \vec{0}$ ，也就是 $\begin{pmatrix}k_1\\k_2\\k_3\end{pmatrix} \ = \begin{pmatrix}0\\0\\0\end{pmatrix}$ ，只能推出 $k_1 \ = k_2 \ = k_3 \ = 0$ ，所以新的向量組 $\vec{e}_1, \vec{e}_2, \vec{e}_3$ 還是線性無關的。

五、極大線性無關組

（一）概念

“能力”，可以把其他小伙伴的“能力”用它們的組合表示出來。

例如，在向量組 $\vec{\alpha}_1 \ = \begin{pmatrix}1\\1\\1\end{pmatrix}$ ， $\vec{\alpha}_2 \ = \begin{pmatrix}1\\2\\3\end{pmatrix}$ ， $\vec{\alpha}_3 \ = \begin{pmatrix}2\\3\\4\end{pmatrix}$ ， $\vec{\alpha}_4 \ = \begin{pmatrix}3\\4\\5\end{pmatrix}$ 中。我們來看看 $\vec{\alpha}_1$ 和 $\vec{\alpha}_2$ ，假設存在數 $k_1$ ， $k_2$ 使得 $k_1\vec{\alpha}_1 + k_2\vec{\alpha}_2 \ = \vec{0}$ ，即 $k_1\begin{pmatrix}1\\1\\1\end{pmatrix} + k_2\begin{pmatrix}1\\2\\3\end{pmatrix} \ = \begin{pmatrix}k_1 + k_2\\k_1 + 2k_2\\k_1 + 3k_2\end{pmatrix} \ = \begin{pmatrix}0\\0\\0\end{pmatrix}$ ，通過求解方程組 $\begin{cases}k_1 + k_2 \ = 0\\k_1 + 2k_2 \ = 0\\k_1 + 3k_2 \ = 0\end{cases}$ ，可以得到 $k_1 \ = k_2 \ = 0$ ，所以 $\vec{\alpha}_1$ 和 $\vec{\alpha}_2$ 線性無關。

再看 $\vec{\alpha}_3$ ， $\vec{\alpha}_3 \ = \vec{\alpha}_1 + \vec{\alpha}_2$ ； $\vec{\alpha}_4 \ = 2\vec{\alpha}_1 + \vec{\alpha}_2$ ，也就是 $\vec{\alpha}_3$ 和 $\vec{\alpha}_4$ 都能由 $\vec{\alpha}_1$ 和 $\vec{\alpha}_2$ 線性表示。所以 $\vec{\alpha}_1$ ， $\vec{\alpha}_2$ 構成了該向量組的一個極大線性無關組。

（二）求解方法

構造矩陣：把向量組中的向量按順序作為矩陣 $A$ 的列向量。比如有向量組 $\vec{\beta}_1 \ = \begin{pmatrix}1\\1\\0\\0\end{pmatrix}$ ， $\vec{\beta}_2 \ = \begin{pmatrix}0\\0\\1\\1\end{pmatrix}$ ， $\vec{\beta}_3 \ = \begin{pmatrix}1\\1\\1\\1\end{pmatrix}$ ， $\vec{\beta}_4 \ = \begin{pmatrix}2\\2\\1\\1\end{pmatrix}$ ，則構造矩陣 $\ = \begin{pmatrix}1&0&1&2\\1&0&1&2\\0&1&1&1\\0&1&1&1\end{pmatrix}$ 。
初等行變換化為行最簡形矩陣：利用三種初等行變換，即換行（交換兩行的位置）、某一行乘以非零常數、某一行加上另一行的倍數，將矩陣化為行最簡形矩陣。
- 對于矩陣 $A$ ，先將第二行減去第一行，第四行減去第三行，得到 $\begin{pmatrix}1&0&1&2\\0&0&0&0\\0&1&1&1\\0&0&0&0\end{pmatrix}$ 。此時已經是行階梯形矩陣，再進一步化為行最簡形矩陣，無需其他操作。
確定極大線性無關組：行最簡形矩陣中主元（每行第一個非零元素）所在列對應的原向量組中的向量就構成一個極大線性無關組。在上述行最簡形矩陣中，主元在第一列和第三列，所以 $\vec{\beta}_1$ 和 $\vec{\beta}_3$ 構成該向量組的一個極大線性無關組。

（三）性質

不唯一性：極大線性無關組并不是唯一的。仍以上述向量組為例，經過進一步分析可能還存在其他兩個向量的組合也滿足極大線性無關組的條件。再比如向量組 $\vec{\gamma}_1 \ = \begin{pmatrix}1\\0\\0\end{pmatrix}$ ， $\vec{\gamma}_2 \ = \begin{pmatrix}0\\1\\0\end{pmatrix}$ ， $\vec{\gamma}_3 \ = \begin{pmatrix}1\\1\\0\end{pmatrix}$ ， $\vec{\gamma}_4 \ = \begin{pmatrix}0\\0\\1\end{pmatrix}$ 。 $\vec{\gamma}_1$ ， $\vec{\gamma}_2$ ， $\vec{\gamma}_4$ 是一個極大線性無關組，因為它們線性無關且 $\vec{\gamma}_3 \ = \vec{\gamma}_1 + \vec{\gamma}_2$ ；同時 $\vec{\gamma}_1$ ， $\vec{\gamma}_3$ ， $\vec{\gamma}_4$ 也可以是極大線性無關組， $\vec{\gamma}_2 \ = \vec{\gamma}_3 - \vec{\gamma}_1$ 且這三個向量線性無關。這是因為在向量組中，可能存在多種不同的線性無關的組合方式，都能滿足極大線性無關組對向量組的“代表”作用。
向量個數相等：一個向量組的任意兩個極大線性無關組所含向量的個數一定相等，這個固定的個數稱為向量組的秩。例如，對于向量組 $\vec{\delta}_1 \ = \begin{pmatrix}1\\2\\3\end{pmatrix}$ ， $\vec{\delta}_2 \ = \begin{pmatrix}2\\4\\6\end{pmatrix}$ ， $\vec{\delta}_3 \ = \begin{pmatrix}3\\6\\9\end{pmatrix}$ ，它的一個極大線性無關組可以是 $\{\vec{\delta}_1\}$ （因為 $\vec{\delta}_2 \ = 2\vec{\delta}_1$ ， $\vec{\delta}_3 \ = 3\vec{\delta}_1$ ），若再找出另一個極大線性無關組，其中向量個數也必然為 $1$ ，該向量組的秩就是 $1$ 。這是因為極大線性無關組反映的是向量組中線性無關的“最大規模”，無論以何種方式選取，這個“最大規模”是固定的，就像一個容器的最大容量是確定的，雖然裝東西的方式可以不同，但最大能裝的量是一樣的。

（四）用極大線性無關組表示不屬于該組的向量

當我們確定了向量組的極大線性無關組后，對于那些不屬于極大線性無關組的向量，我們可以通過求解線性方程組的方式來確定它們由極大線性無關組線性表示的系數。

例如，已知向量組 $\vec{\epsilon}_1 \ = \begin{pmatrix}1\\1\\0\end{pmatrix}$ ， $\vec{\epsilon}_2 \ = \begin{pmatrix}0\\1\\1\end{pmatrix}$ ， $\vec{\epsilon}_3 \ = \begin{pmatrix}1\\2\\1\end{pmatrix}$ ，已求得 $\vec{\epsilon}_1$ ， $\vec{\epsilon}_2$ 是極大線性無關組。設 $\vec{\epsilon}_3 \ = x\vec{\epsilon}_1 + y\vec{\epsilon}_2$ ，即 $\begin{pmatrix}1\\2\\1\end{pmatrix} \ = x\begin{pmatrix}1\\1\\0\end{pmatrix} + y\begin{pmatrix}0\\1\\1\end{pmatrix} \ = \begin{pmatrix}x\\x + y\\y\end{pmatrix}$ ，由此得到方程組 $\begin{cases}x \ = 1\\x + y \ = 2\\y \ = 1\end{cases}$ 。通過解方程組，很容易得出 $\ = 1$ ， $\ = 1$ ，所以 $\vec{\epsilon}_3 \ = \vec{\epsilon}_1 + \vec{\epsilon}_2$ 。這就好像我們找到了一種“配方”，用極大線性無關組中的向量按照特定的比例（這里 $\ = 1$ ， $\ = 1$ ）組合起來，就能得到不屬于極大線性無關組的向量，體現了極大線性無關組對整個向量組的“構建”作用，有助于我們更清晰、簡潔地描述整個向量組的結構和性質。