線性回歸是一種用于建模自變量與因變量之間線性關系的統計方法，核心是通過最小化誤差平方和估計模型參數。以下從數學原理推導和案例兩方面詳細說明。

一、線性回歸模型的數學原理推導

1. 模型定義

線性回歸假設因變量 y 與自變量 x 存在線性關系，具體分為：

• 簡單線性回歸（單自變量）：

$$y_i={\beta }_0+{\beta }_1{x}_i+{\epsilon }_i(i=1,2,...,n)$$

2. 參數估計：最小二乘法（OLS）

要詳細推導 ${\mathbf{\beta }}_1=\frac{\sum ({\mathbf{x}}_{\mathbf{i}}?\bar{\mathbf{x}})({\mathbf{y}}_{\mathbf{i}}?\bar{\mathbf{y}})}{\sum ({\mathbf{x}}_{\mathbf{i}}?\bar{\mathbf{x}}{)}^2}$ 的過程，我們從 最小二乘法的正規方程 出發，逐步化簡：

步驟 1：建立誤差平方和與正規方程

簡單線性回歸模型為：
$$y_i={\beta }_0+{\beta }_1{x}_i+{\epsilon }_i(i=1,2,...,n)$$

誤差平方和（SSE）為：
$$\text{SSE}=\sum _{i=1}^n(y_i?{\beta }_0?{\beta }_1{x}_i{)}^2$$

為最小化 SSE，對 ${\beta }_0$ 和 ${\beta }_1$ 求偏導并令其為 0，得到 正規方程：

（1）對 ${\beta }_0$ 求偏導

$$\frac{?\text{SSE}}{?{\beta }_0}=?2\sum _{i=1}^n(y_i?{\beta }_0?{\beta }_1{x}_i)=0$$

整理得：
$$\sum _{i=1}^n{y}_i=n{\beta }_0+{\beta }_1\sum _{i=1}^n{x}_i$$

兩邊除以 $n$（記 $\bar{x}=\frac{1}{n}\sum x_i$，$\bar{y}=\frac{1}{n}\sum y_i$，即樣本均值），得：
$$\bar{y}={\beta }_0+{\beta }_1\bar{x}?{\mathbf{\beta }}_0=\bar{\mathbf{y}}?{\mathbf{\beta }}_1\bar{\mathbf{x}}\text{\hspace{1em}(1)}$$

（2）對 ${\beta }_1$ 求偏導

$$\frac{?\text{SSE}}{?{\beta }_1}=?2\sum _{i=1}^n{x}_i(y_i?{\beta }_0?{\beta }_1{x}_i)=0$$

整理得：
$$\sum _{i=1}^n{x}_i{y}_i={\beta }_0\sum _{i=1}^n{x}_i+{\beta }_1\sum _{i=1}^n{x}_i^2\text{\hspace{1em}(2)}$$

步驟 2：代入 ${\mathbf{\beta }}_0$ 的表達式到方程（2）

將式（1）${\mathbf{\beta }}_0=\bar{\mathbf{y}}?{\mathbf{\beta }}_1\bar{\mathbf{x}}$ 代入式（2），右邊變為：
$$(\bar{y}?{\beta }_1\bar{x})\sum x_i+{\beta }_1\sum x_i^2$$

利用 $\sum x_i=n\bar{x}$（因為 $\bar{x}=\frac{1}{n}\sum x_i$），展開并整理：
$$\begin{array}{rl}\text{右邊}& =\bar{y}?n\bar{x}?{\beta }_1\bar{x}?n\bar{x}+{\beta }_1\sum x_i^2\\ & =n\bar{x}\bar{y}+{\beta }_1\left(\sum x_i^2?n{\bar{x}}^2\right)\end{array}$$

步驟 3：化簡方程求 ${\mathbf{\beta }}_1$

式（2）左邊為 $\sum x_i{y}_i$，因此：
$$\sum x_i{y}_i=n\bar{x}\bar{y}+{\beta }_1\left(\sum x_i^2?n{\bar{x}}^2\right)$$

將左邊的 $n\bar{x}\bar{y}$ 移到左邊，得：
$$\sum x_i{y}_i?n\bar{x}\bar{y}={\beta }_1\left(\sum x_i^2?n{\bar{x}}^2\right)\text{\hspace{1em}(3)}$$

步驟 4：轉化為離均差形式

（1）分子：$\sum x_i{y}_i?n\bar{x}\bar{y}$

展開 離均差 $(x_i?\bar{x})(y_i?\bar{y})$：
$$\begin{array}{rl}\sum (x_i?\bar{x})(y_i?\bar{y})& =\sum \left(x_i{y}_i?x_i\bar{y}?\bar{x}{y}_i+\bar{x}\bar{y}\right)\\ & =\sum x_i{y}_i?\bar{y}\sum x_i?\bar{x}\sum y_i+n\bar{x}\bar{y}\\ & =\sum x_i{y}_i?\bar{y}?n\bar{x}?\bar{x}?n\bar{y}+n\bar{x}\bar{y}(\text{因}\sum x_i=n\bar{x},\sum y_i=n\bar{y})\\ & =\sum x_i{y}_i?n\bar{x}\bar{y}\end{array}$$

因此，分子 $\sum x_i{y}_i?n\bar{x}\bar{y}=\sum (x_i?\bar{x})(y_i?\bar{y})$。

（2）分母：$\sum x_i^2?n{\bar{x}}^2$

展開離均差平方 $(x_i?\bar{x}{)}^2$：
$$\begin{array}{rl}\sum (x_i?\bar{x}{)}^2& =\sum \left(x_i^2?2x_i\bar{x}+{\bar{x}}^2\right)\\ & =\sum x_i^2?2\bar{x}\sum x_i+n{\bar{x}}^2\\ & =\sum x_i^2?2\bar{x}?n\bar{x}+n{\bar{x}}^2(\text{因}\sum x_i=n\bar{x})\\ & =\sum x_i^2?n{\bar{x}}^2\end{array}$$

因此，分母 $\sum x_i^2?n{\bar{x}}^2=\sum (x_i?\bar{x}{)}^2$。

步驟 5：最終推導

將分子和分母的離均差形式代入式（3），得：
$${\mathbf{\beta }}_1=\frac{\sum ({\mathbf{x}}_{\mathbf{i}}?\bar{\mathbf{x}})({\mathbf{y}}_{\mathbf{i}}?\bar{\mathbf{y}})}{\sum ({\mathbf{x}}_{\mathbf{i}}?\bar{\mathbf{x}}{)}^2}$$

核心邏輯總結

1. 通過最小二乘法得到 兩個正規方程，分別對應截距 ${\beta }_0$ 和斜率 ${\beta }_1$。
2. 利用 ${\beta }_0$ 與均值的關系（${\beta }_0=\bar{y}?{\beta }_1\bar{x}$），將其代入 ${\beta }_1$ 的正規方程。
3. 通過 離均差展開 化簡，將代數形式轉化為更直觀的協方差/方差形式（分子是 $x$ 和 $y$ 的協方差和，分母是 $x$ 的方差和）。

這種推導體現了最小二乘法的核心：通過均值和離均差簡化計算，最終得到斜率的直觀表達式。

二、數學案例（簡單線性回歸）

問題：

已知5組數據（( x ) 為廣告投入，( y ) 為銷售額，單位：萬元）：
( x: [1, 2, 3, 4, 5] )，( y: [2, 4, 5, 7, 8] )，求回歸方程 $\hat{y}={\hat{\beta }}_0+{\hat{\beta }}_{1}x$

計算步驟：

公式：
$${\mathbf{\beta }}_1=\frac{\sum ({\mathbf{x}}_{\mathbf{i}}?\bar{\mathbf{x}})({\mathbf{y}}_{\mathbf{i}}?\bar{\mathbf{y}})}{\sum ({\mathbf{x}}_{\mathbf{i}}?\bar{\mathbf{x}}{)}^2}$$
$${\beta }_0=\bar{y}?{\beta }_1\bar{x}$$

1. 計算均值：
   $$\bar{x}=\frac{1+2+3+4+5}{5}=3$$$$\bar{y}=\frac{2+4+5+7+8}{5}=5.2$$

2. 計算分子 $\sum (x_i?\bar{x})(y_i?\bar{y})$
   $(1?3)(2?5.2)=(?2)(?3.2)=6.4$
   $(2?3)(4?5.2)=(?1)(?1.2)=1.2$
   $(3?3)(5?5.2)=0\times (?0.2)=0$
   $(4?3)(7?5.2)=1\times 1.8=1.8$
   $(5?3)(8?5.2)=2\times 2.8=5.6$
   總和：$6.4+1.2+0+1.8+5.6=15$

3. 計算分母 $\sum (x_i?\bar{x}{)}^2$
   $(1?3{)}^2=4$
   $(2?3{)}^2=1$
   $(3?3{)}^2=0$
   $(4?3{)}^2=1$
   $(5?3{)}^2=4$
   總和：$4+1+0+1+4=10$

4. 估計參數：
   斜率：${\hat{\beta }}_1=\frac{15}{10}=1.5$
   截距：${\hat{\beta }}_0=\bar{y}?{\hat{\beta }}_1\bar{x}=5.2?1.5\times 3=0.7$

結果：

回歸方程為 $\hat{y}=0.7+1.5x$，即廣告投入每增加1萬元，銷售額平均增加1.5萬元。

三、總結

線性回歸通過最小二乘法估計參數，核心是最小化誤差平方和。簡單線性回歸的參數可通過均值和協方差直接計算。