參考教程

一個視頻，徹底理解切比雪夫不等式

一、意義

1. 正態分布的 3σ 法則

• 不等式：切比雪夫不等式 P{∣X?EX∣≥ε}≤DXε2P\{|X - EX| \geq \varepsilon\} \leq \frac{DX}{\varepsilon^2}P{∣X?EX∣≥ε}≤ε2DX?，用于描述隨機變量偏離期望的概率上界
• 法則：正態分布的 3σ 法則
  
• 分布表示：正態分布 $N(\mu ,{\sigma }^2)$（圖中標注對應分布形態 ）
• 概率占比：
  • $\mu \pm \sigma$ 區間概率約 68.2%
  • $\mu \pm 2\sigma$ 區間概率約 95.4%
  • $\mu \pm 3\sigma$ 區間概率約 99.7%

2. 不等式的含義

切比雪夫不等式公式的另一種形式：

P{∣X?EX∣<ε}≥1?DXε2P\{|X - EX| < \varepsilon\} \geq 1 - \frac{DX}{\varepsilon^2} P{∣X?EX∣<ε}≥1?ε2DX?

（其中 ( X ) 是隨機變量，( EX ) 為其期望，( DX ) 為方差，( \varepsilon ) 是任意正數 ）

$|X?EX|$就是X到均值的距離
這個公式就是對$|X?EX|<\epsilon$這件事的概率做估計

3. 不等式的意義

• 當 $\epsilon$ = $\sigma$ 時：
  P{∣X?EX∣<σ}≥1?σ2σ2=0P\{|X - EX| < \sigma\} \geq 1 - \frac{\sigma^2}{\sigma^2} = 0 P{∣X?EX∣<σ}≥1?σ2σ2?=0

• 當 $\epsilon$ = $2\sigma$ 時：
  P{∣X?EX∣<2σ}≥1?σ2(2σ)2=1?14=34=75%P\{|X - EX| < 2\sigma\} \geq 1 - \frac{\sigma^2}{(2\sigma)^2} = 1 - \frac{1}{4} = \frac{3}{4} = 75\% P{∣X?EX∣<2σ}≥1?(2σ)2σ2?=1?41?=43?=75%
  由此可見切比雪夫的估計比較保守

假如隨便畫一個分布，求陰影部分概率，切比雪夫不等式告訴我們這個概率一定大于等于75%，這就是其高明之處

二、不等式的證明

1. 馬爾科夫不等式

• 公式：P{Y≥a}≤EYaP\{ Y \geq a \} \leq \frac{EY}{a}P{Y≥a}≤aEY? ($Y$ 取非負 ）
  

馬爾可夫不等式證明($Y$ 為非負隨機變量 ）

1. 由期望定義，$Y$ 的數學期望：
   $$EY={\int }_0^{+\infty }y?f(y)dy$$

2. 因$Y\ge 0$，且積分區間可拆分，當$y\ge a$ 時$y\ge a$，故：
   $$EY\ge {\int }_a^{+\infty }y?f(y)dy\ge {\int }_a^{+\infty }a?f(y)dy$$

3. 化簡右側積分：
   ∫a+∞a?f(y)dy=a?∫a+∞f(y)dy=a?P{Y≥a}\int_{a}^{+\infty} a \cdot f(y) \, dy = a \cdot \int_{a}^{+\infty} f(y) \, dy = a \cdot P\{ Y \geq a \}∫a+∞?a?f(y)dy=a?∫a+∞?f(y)dy=a?P{Y≥a}

4. 綜上，整理得：
   P{Y≥a}≤EYaP\{ Y \geq a \} \leq \frac{EY}{a}P{Y≥a}≤aEY?

2. 切比雪夫不等式推導

1. 基礎：馬爾可夫不等式
   P{Y≥a}≤EYaP\{ Y \geq a \} \leq \frac{EY}{a}P{Y≥a}≤aEY?
   （其中 ( Y ) 為非負隨機變量 ）

2. 變量代換：
   令 $Y=(X?EX{)}^2$，$a={\epsilon }^2$

3. 代入推導：

   • 第一步推導：
     $$P\{(X?EX{)}^2\ge {\epsilon }^2\}\le \frac{E\left[(X?EX{)}^2\right]}{{\epsilon }^2}$$
   • 因 $$E\left[(X?EX{)}^2\right]=DX$$（方差定義 ），且 $$(X?EX{)}^2\ge {\epsilon }^2?|X?EX|\ge \epsilon$$ ，進一步得：
     P{∣X?EX∣≥ε}≤DXε2P\{ |X - EX| \geq \varepsilon \} \leq \frac{DX}{\varepsilon^2}P{∣X?EX∣≥ε}≤ε2DX?