《機器學習數學基礎》中并沒有將解線性方程組作為重點，只是在第2章2.4.2節做了比較完整的概述。這是因為，如果用程序求解線性方程組，相對于高等數學教材中強調的手工求解，要簡單得多了。

本文是關于線性方程組的拓展，供對此有興趣的讀者閱讀。

1. 線性方程組的解位于一條直線

不失一般性，這里討論三維空間的情況，對于多維空間，可以由此外推，畢竟三維空間便于想象和作圖說明。

設矩陣 $A=\left[\begin{array}{ccc}1& 2& 4\\ 1& 3& 5\end{array}\right]$ ，線性方程

$$\left[\begin{array}{ccc}1& 2& 4\\ 1& 3& 5\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=\left[\begin{array}{c}0\\ 0\end{array}\right]\text{\hspace{1em}(1.1)}$$

的解是：

$$\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=\left[\begin{array}{c}0\\ 0\\ 0\end{array}\right],\left[\begin{array}{c}2\\ 1\\ ?1\end{array}\right],\left[\begin{array}{c}4\\ 2\\ ?2\end{array}\right],?$$

可以將上述解寫成：

$$\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=\alpha \left[\begin{array}{c}2\\ 1\\ ?1\end{array}\right]\text{\hspace{1em}(1.2)}$$

其中 $\alpha$ 為任意數。

很顯然，（1.1）式是一條通過坐標系原點的直線。推而廣之，可以說 $Ax=0$ 的解集是一條過原點的直線（記作：$l_1$ ）。

如果是非齊次線性方程組，例如：

$$\left[\begin{array}{ccc}1& 2& 4\\ 1& 3& 5\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=\left[\begin{array}{c}4\\ 5\end{array}\right]\text{\hspace{1em}(1.3)}$$

解為：

$$\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=\left[\begin{array}{c}2\\ 1\\ 0\end{array}\right],\left[\begin{array}{c}0\\ 0\\ 1\end{array}\right],\left[\begin{array}{c}4\\ 2\\ ?1\end{array}\right],?$$

這些點的集合是一條不過原點的直線。即 $Ax=b$ 的解集是一條不過原點的直線（記作：$l_2$ ）。并且，這條直線與 $Ax=0$ 的解集所在直線平行。對此結論證明如下：

設 $u$ 和 $v$ 是 $Ax=b$ 的兩個解，則：

$$\begin{array}{rl}& Au=b\\ & Av=b\end{array}$$

上面二式相減，得：

$$A(u?v)=0$$

即 $u?v$ 是 $Ax=0$ 的一個解。

$u$ 和 $v$ 是 $Ax=b$ 解集對應的直線上（ $l_2$ ）的兩個點，則 $u?v$ 的方向必然在直線 $l_2$ 的方向上（或者在直線 $l_2$ 上，或者在于 $l_2$ 平行的直線上）。

又因為 $u?v$ 也是 $Ax=0$ 的解，所以 $u?v$ 在過原點的直線 $l_1$ 上。

因此，$l_1$ 平行于 $l_2$ ，即 $Ax=b$ 的解集所在直線不過原點，且平行于過原點的 $Ax=0$ 的解集所在直線。

2. 克拉默法則

對《機器學習數學基礎》第2章2.4.2節中克拉默法則進行證明。

克拉默法則（Cramer’s rule）利用行列式計算 $Ax=b$ 的解，其中 $A$ 是 $n\times n$ 方陣。

由于克拉默法則的運行效率不如高斯消元法，所以不能用于大數量方程的線性方程組，通常只用于理論推導${}^{[2]}$ ，從這個角度看，此法則除了具有理論意義之外，在計算上完全可以不用。

下面的證明來自于參考文獻[2]，根據需要做了適當修改。

克拉默法則

設 $n$ 階方陣 $A$ ，$n$ 維向量 $b$ ，將 $A$ 的第 $i$ 列以 $b$ 替換，并記作 $A_i(b)$ ，用列向量表示為：

$$A_i(b)=\left[\begin{array}{ccccccc}{a}_1& ?& a_{i?1}& b& a_{i+1}& ?& a_n\end{array}\right]$$

若 $A$ 可逆，即 $|A|\ne 0$ ，則 $Ax=b$ 的解：

$$x_i=\frac{|A_i(b)|}{|A|},(i=1,2,?,n)$$

證明

將原方程 $Ax=b$ 轉化為等價的 $AX=B$ ，其中 $X,B$ 都是 $n\times n$ 矩陣，將單位矩陣以列向量的形式表示為：$I=\left[\begin{array}{ccc}{e}_1& ?& e_n\end{array}\right]$ 。

以列向量 $x$ 取代 $I$ 的第 $i$ 列，再左乘 $A$ ：

$${AI}_i(x)=A\left[\begin{array}{ccccc}{e}_1& ?& x& ?& e_n\end{array}\right]$$

參考“對矩陣乘法深入理解”中以列為單元進行矩陣乘法，上式可以進一步變換：

$$\begin{array}{rl}{AI}_i(x)& =\left[\begin{array}{ccccc}A{e}_1& ?& Ax& ?& A{e}_n\end{array}\right]\\ & =\left[\begin{array}{ccccc}{a}_1& ?& b& ?& a_n\end{array}\right]\\ & =A_i(b)\end{array}$$

上式即為 $AX=B$ ，其中 $X=I_i(x),B=A_i(b)$

利用矩陣乘積的行列式性質，得：

$$|AX|=|A||X|=|A||I_i(x)|=|A_i(b)|$$

以余子式展開計算行列式，得：$|I_i(x)|=x_i$ （參閱[3]） ，所以，$|A|x_i=|A_i(b)|$ 。

若 $|A|\ne 0$ ，則：

$$x_i=\frac{|A_i(b)|}{|A|}$$

3. 存在性與唯一性

矩陣 $A$ 是 $m\times n$ ，對于任意 $m$ 維的非零向量 $b$ ，線性方程組 $Ax=b$ 解的唯一性和存在性討論${}^{[4]}$。

存在性

$Ax=b$ 有解，當且僅當 $b^{T}y=0$ ，其中 $y$ 為滿足 $A^{T}y=0$ 的任何向量。

或曰：

若 $b$ 正交于左零空間 $N(A^T)$ ，則 $Ax=b$ 有解，反之亦然。

唯一性

$Ax=b$ 有唯一解（若解存在），當且僅當 $Ax=0$ 有唯一解 $x=0$ 。

或曰：

若矩陣 $A$ 零空間 $N(A)$ 僅含零向量，則 $Ax=b$ 有唯一解，反之亦然。

參考文獻

[1]. https://ccjou.wordpress.com/2009/03/20/axb-和-ax0-的解集合有什麼關係？/

[2]. https://ccjou.wordpress.com/2009/11/10/克拉瑪公式的證明/

[3]. 對 $|I_i(x)|=x_i$ ，以 $4\times 4$ 矩陣為例，當 $i=2$ 時：

$$\left|\begin{array}{cccc}1& x_1& 0& 0\\ 1& x_2& 0& 0\\ 1& x_3& 0& 0\\ 1& x_4& 0& 0\end{array}\right|=x_2\left|\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& )& 1\end{array}\right|=x_1?1=x_2$$

[4]. https://ccjou.wordpress.com/2011/06/07/線性方程解的存在性與唯一性/