為什么無偏估計用 $(n?1)$ 而不是 $n$，區別是什么？

在統計學中，無偏估計是指估計量的期望值等于總體參數的真實值。當我們用樣本數據估計總體方差或協方差時，分母使用 $(n?1)$ 而不是 $n$ 是為了確保估計是無偏的。

1. 總體方差與樣本方差

總體方差 ${\sigma }^2$ 定義為：
$${\sigma }^2=\frac{1}{n}\sum _{i=1}^n(x_i?\mu {)}^2$$

其中 $n$ 是總體數據點數，$\mu$ 是總體均值。

樣本方差的直觀定義可能是：
$$s_n^2=\frac{1}{n}\sum _{i=1}^n(x_i?\bar{x}{)}^2$$

但這個估計是有偏的。為了得到無偏估計，我們使用：
$$s_{n?1}^2=\frac{1}{n?1}\sum _{i=1}^n(x_i?\bar{x}{)}^2$$

2. 為什么用 $(n?1)$ 實現無偏估計？

直觀解釋

• 樣本均值的"過擬合"：$\bar{x}$ 是從樣本計算得到的，不是固定的總體均值 $\mu$。這使得樣本數據點相對于 $\bar{x}$ 的偏差比相對于 $\mu$ 的偏差小。
• 自由度損失：計算 $\bar{x}$ 時已用掉一個自由度（因為 $\sum (x_i?\bar{x})=0$），所以剩余的獨立信息只有 $(n?1)$ 個自由度。

數學證明

關鍵證明是樣本方差總和的期望值：
$$E\left[\sum _{i=1}^n(x_i?\bar{x}{)}^2\right]=(n?1){\sigma }^2$$

• 若分母用 $n$：
  $$E[s_n^2]=E\left[\frac{1}{n}\sum _{i=1}^n(x_i?\bar{x}{)}^2\right]=\frac{n?1}{n}{\sigma }^2<{\sigma }^2$$

• 若分母用 $(n?1)$：
  $$E[s_{n?1}^2]=E\left[\frac{1}{n?1}\sum _{i=1}^n(x_i?\bar{x}{)}^2\right]=\frac{1}{n?1}?(n?1){\sigma }^2={\sigma }^2$$

3. 用 $(n?1)$ 和 $n$ 的區別

方面	分母用 $(n?1)$	分母用 $n$
估計性質	無偏估計，$E[s_{n?1}^2]={\sigma }^2$	有偏估計，$E[s_n^2]=\frac{n?1}{n}{\sigma }^2$
數值大小	結果稍大（因為分母更小）	結果稍小（因為分母更大）
適用場景	統計推斷，估計總體參數	最大似然估計或描述樣本特性
樣本大小影響	小樣本時差異明顯，大樣本時差異趨近于零	同左，但偏差始終存在

• 在小樣本情況下，差異更顯著（例如 $n=5$ 時，有偏估計為 $\frac{4}{5}{\sigma }^2$）
• 在大樣本情況下（如 $n=1000$），差異很小，但理論上仍以 $(n?1)$ 為標準

好的，我來更新第4部分的內容，用更詳細的推導過程替代之前的版本。

4. 期望 $E\left[{\sum }_{i=1}^n(x_i?\bar{x}{)}^2\right]=(n?1){\sigma }^2$ 的詳細推導

假設條件

為了推導這個期望，我們需要明確以下假設：

• $x_1,x_2,\dots ,x_n$ 是從均值為 $\mu$、方差為 ${\sigma }^2$ 的總體中抽取的**獨立同分布（i.i.d.）**隨機變量。
• 樣本均值定義為：$\bar{x}=\frac{1}{n}{\sum }_{i=1}^n{x}_i$。

步驟 1：表達式變換

直接計算 $E\left[{\sum }_{i=1}^n(x_i?\bar{x}{)}^2\right]$ 較為復雜，因為 $\bar{x}$ 本身是隨機變量。我們可以利用一個恒等式將表達式改寫為更容易處理的形式。

考慮 $x_i?\bar{x}$ 的定義：
$$x_i?\bar{x}=(x_i?\mu )?(\bar{x}?\mu )$$

這里我們引入了總體均值 $\mu$，將偏差分解為兩部分：樣本值與總體均值的偏差 $(x_i?\mu )$ 和樣本均值與總體均值的偏差 $(\bar{x}?\mu )$。

將這個表達式平方并求和：
$$\sum _{i=1}^n(x_i?\bar{x}{)}^2=\sum _{i=1}^n{\left[(x_i?\mu )?(\bar{x}?\mu )\right]}^2$$

展開平方：
$$(x_i?\bar{x}{)}^2=(x_i?\mu {)}^2?2(x_i?\mu )(\bar{x}?\mu )+(\bar{x}?\mu {)}^2$$

對所有 $i$ 求和：
$$\sum _{i=1}^n(x_i?\bar{x}{)}^2=\sum _{i=1}^n(x_i?\mu {)}^2?2\sum _{i=1}^n(x_i?\mu )(\bar{x}?\mu )+\sum _{i=1}^n(\bar{x}?\mu {)}^2$$

簡化最后一項，因為 $(\bar{x}?\mu {)}^2$ 不依賴于 $i$：
$$\sum _{i=1}^n(\bar{x}?\mu {)}^2=n(\bar{x}?\mu {)}^2$$

接下來處理中間項 ${\sum }_{i=1}^n(x_i?\mu )(\bar{x}?\mu )$：
$$\bar{x}=\frac{1}{n}\sum _{i=1}^n{x}_i$$
所以：
$$\bar{x}?\mu =\frac{1}{n}\sum _{i=1}^n(x_i?\mu )$$

代入：
$$\sum _{i=1}^n(x_i?\mu )(\bar{x}?\mu )=\sum _{i=1}^n(x_i?\mu )?\frac{1}{n}\sum _{j=1}^n(x_j?\mu )$$

因為 ${\sum }_{j=1}^n(x_j?\mu )$ 不依賴于 $i$，可以提出：
$$\sum _{i=1}^n(x_i?\mu )(\bar{x}?\mu )=\frac{1}{n}\sum _{i=1}^n(x_i?\mu )?\sum _{j=1}^n(x_j?\mu )=\frac{1}{n}{\left[\sum _{i=1}^n(x_i?\mu )\right]}^2$$

注意到：
$$\sum _{i=1}^n(x_i?\mu )=n(\bar{x}?\mu )$$

所以：
$$\sum _{i=1}^n(x_i?\mu )(\bar{x}?\mu )=\frac{1}{n}{\left[n(\bar{x}?\mu )\right]}^2=n(\bar{x}?\mu {)}^2$$

將這些結果代回原式：
$$\sum _{i=1}^n(x_i?\bar{x}{)}^2=\sum _{i=1}^n(x_i?\mu {)}^2?2n(\bar{x}?\mu {)}^2+n(\bar{x}?\mu {)}^2$$
$$=\sum _{i=1}^n(x_i?\mu {)}^2?n(\bar{x}?\mu {)}^2$$

我們得到了一個關鍵恒等式：
$$\sum _{i=1}^n(x_i?\bar{x}{)}^2=\sum _{i=1}^n(x_i?\mu {)}^2?n(\bar{x}?\mu {)}^2$$

步驟 2：計算期望

現在，對這個表達式取期望：
$$E\left[\sum _{i=1}^n(x_i?\bar{x}{)}^2\right]=E\left[\sum _{i=1}^n(x_i?\mu {)}^2?n(\bar{x}?\mu {)}^2\right]$$

由于期望是線性的，可以分開計算：
$$E\left[\sum _{i=1}^n(x_i?\bar{x}{)}^2\right]=E\left[\sum _{i=1}^n(x_i?\mu {)}^2\right]?E\left[n(\bar{x}?\mu {)}^2\right]$$

第一項：$E\left[{\sum }_{i=1}^n(x_i?\mu {)}^2\right]$

因為 $x_i$ 是 i.i.d. 的，且 $E[(x_i?\mu {)}^2]=\text{Var}(x_i)={\sigma }^2$：
$$E\left[\sum _{i=1}^n(x_i?\mu {)}^2\right]=\sum _{i=1}^{n}E[(x_i?\mu {)}^2]=\sum _{i=1}^n{\sigma }^2=n{\sigma }^2$$

第二項：$E\left[n(\bar{x}?\mu {)}^2\right]$

首先計算 $\bar{x}$ 的方差：
$$\bar{x}=\frac{1}{n}\sum _{i=1}^n{x}_i$$

由于 $x_i$ 是獨立的：
$$\text{Var}(\bar{x})=\text{Var}\left(\frac{1}{n}\sum _{i=1}^n{x}_i\right)=\frac{1}{n^2}\sum _{i=1}^n\text{Var}(x_i)=\frac{1}{n^2}?n{\sigma }^2=\frac{{\sigma }^2}{n}$$

因為 $E[\bar{x}]=\mu$（樣本均值無偏），所以：
$$E[(\bar{x}?\mu {)}^2]=\text{Var}(\bar{x})=\frac{{\sigma }^2}{n}$$

因此：
$$E\left[n(\bar{x}?\mu {)}^2\right]=n?E[(\bar{x}?\mu {)}^2]=n?\frac{{\sigma }^2}{n}={\sigma }^2$$

合并結果

$$E\left[\sum _{i=1}^n(x_i?\bar{x}{)}^2\right]=n{\sigma }^2?{\sigma }^2=(n?1){\sigma }^2$$

步驟 3：驗證與意義

我們得到了：
$$E\left[\sum _{i=1}^n(x_i?\bar{x}{)}^2\right]=(n?1){\sigma }^2$$

這表明，${\sum }_{i=1}^n(x_i?\bar{x}{)}^2$ 的期望值是 $(n?1){\sigma }^2$。在統計學中，樣本方差定義為：
$$s^2=\frac{1}{n?1}\sum _{i=1}^n(x_i?\bar{x}{)}^2$$

其期望為：
$$E[s^2]=\frac{1}{n?1}E\left[\sum _{i=1}^n(x_i?\bar{x}{)}^2\right]=\frac{1}{n?1}?(n?1){\sigma }^2={\sigma }^2$$

這說明 $s^2$ 是總體方差 ${\sigma }^2$ 的無偏估計。

如果用 $n$ 作為分母：
$$E\left[\frac{1}{n}\sum _{i=1}^n(x_i?\bar{x}{)}^2\right]=\frac{1}{n}?(n?1){\sigma }^2=\frac{n?1}{n}{\sigma }^2<{\sigma }^2$$

這表明分母用 $n$ 會低估總體方差。

總結

通過將 ${\sum }_{i=1}^n(x_i?\bar{x}{)}^2$ 展開為 ${\sum }_{i=1}^n(x_i?\mu {)}^2?n(\bar{x}?\mu {)}^2$，并分別計算兩項的期望，我們推導出：
$$E\left[\sum _{i=1}^n(x_i?\bar{x}{)}^2\right]=(n?1){\sigma }^2$$

• ${\sum }_{i=1}^n(x_i?\mu {)}^2$ 的期望是 $n{\sigma }^2$，表示總體偏差。
• $n(\bar{x}?\mu {)}^2$ 的期望是 ${\sigma }^2$，反映樣本均值的波動。
• 兩者的差值 $(n?1){\sigma }^2$ 解釋了為什么樣本方差的分母用 $n?1$ 是無偏的。

5. 數據中心化的原理

數據中心化是將每個數據點減去均值的過程：

數學表示

• 原始數據：$x_1,x_2,...,x_n$
• 均值：$\mu =\frac{1}{n}{\sum }_{i=1}^n{x}_i$
• 中心化數據：$x_i^{\prime }=x_i?\mu$

幾何意義

• 將數據集平移，使中心點位于坐標原點
• 數據分布形狀不變，僅位置發生移動
• 數據點之間的相對關系保持不變

優點

• 消除數據的整體偏移
• 提高數值計算的穩定性
• 加快模型收斂速度
• 使不同特征處于相似的尺度范圍

示例

對于數據 [2, 4, 6, 8]：

• 均值 $\mu =5$
• 中心化后：[-3, -1, 1, 3]

數據中心化是統計分析和機器學習中的重要預處理步驟，有助于我們關注數據的相對變化而非絕對位置。