線性代數|機器學習-P21概率定義和Markov不等式

文章目錄

1. 樣本期望和方差
- 1.1 樣本期望 $\mathrm{E}(X)$
- 1.2 樣本期望 $\mathrm{D}(X)$
2. Markov 不等式&Chebyshev不等式
- 2.1 Markov不等式公式概述
- 2.2 Markov不等式公式證明：
- 2.3 Markov不等式公式舉例：
- 2.4 Chebyshev不等式公式概述：
- 2.5 Chebyshev不等式公式證明：
3. 協方差矩陣
- 3.1 舉例
- 3.2 Python 代碼

1. 樣本期望和方差

1.1 樣本期望 $\mathrm{E}(X)$

假設我們有N個樣本及概率如下 $x_1\rightarrow p_1,x_2\rightarrow p_2,\cdots,x_n\rightarrow p_n$ ,那么樣本期望 $E (X)$
$\begin{equation} \mathrm{E}(X)=m=\sum_{i=1}^Np_ix_i \end{equation}$

函數期望：
$\begin{equation} \mathrm{E}(f(x))=m=\sum_{i=1}^Np_if(x_i) \end{equation}$

1.2 樣本期望 $\mathrm{D}(X)$

$\begin{equation} \mathrm{D}(X)=\sigma^2=\mathrm{E}[(x_i-m)^2] \end{equation}$

展開可得：
$\begin{equation} \mathrm{D}(X)=\sum_{i=1}^Np_i(x_i-m)^2 \end{equation}$
展開可得：
$\begin{equation} =p_1(x_1^2+m^2-2x_1m)+p_2(x_2^2+m^2-2x_2m)+\cdots+p_n(x_n^2+m^2-2x_nm) \end{equation}$
$\begin{equation} =p_1(x_1^2+x_2^2+\cdots+x_n^2)+(p_1+p_2+\cdots+p_n)m^2-2m(p_1x_1+p_2x_2+\cdots+p_nx_n) \end{equation}$
因為 $p_1+p_2+\cdots+p_n=1,p_1x_1+p_2x_2+\cdots+p_nx_n=m$
$\mathrm{E}(X^2)=p_1(x_1^2+x_2^2+\cdots+x_n^2),\mathrm{E}(X)=m=\sum_{i=1}^Np_ix_i$
整理可得：
$\begin{equation} D(X)=\mathrm{E}(X^2)+m^2-2m^2=\mathrm{E}(X^2)-[\mathrm{E}(X)]^2 \end{equation}$

2. Markov 不等式&Chebyshev不等式

2.1 Markov不等式公式概述

假設X是一個均值有限的非負隨機變量，均值為 $\mathrm{E}(X)$ ,這意味著 $P (X < 0) = 0$ ,那么對于任意的正數a,有
$\begin{equation} Prob(X\ge a)\le\frac{\mathrm{E}(X)}{a},X_i\ge 0 \end{equation}$

同等公式如下：
$\begin{equation} Prob(X< a)\ge 1-\frac{\mathrm{E}(X)}{a} \end{equation}$

2.2 Markov不等式公式證明：

我們定義樣本分布的概率密度為 $f (x)$ ,如下圖所述：
在這里插入圖片描述

我們可以得到期望E(X)表示如下：
$\begin{equation} \mathrm{E}(X)=\int_{0}^{\infty}xf(x)\mathrm{d}x \end{equation}$
因為 x , f(x)我們定義均大于等于0，所以可以進行縮放，將原來積分從0到正無窮縮小到a到正無窮
$\begin{equation} \int_{0}^{\infty}xf(x)\mathrm{d}x\ge\int_{a}^{\infty}xf(x)\mathrm{d}x \end{equation}$
因為每個x現在都大于等于a， $x\ge a$ ，所以可以將系數x縮放為a，即：
$\begin{equation} \int_{0}^{\infty}xf(x)\mathrm{d}x\ge\int_{a}^{\infty}xf(x)\mathrm{d}x\ge\int_{a}^{\infty}af(x)\mathrm{d}x=a\int_{a}^{\infty}f(x)\mathrm{d}x \end{equation}$
這里的 $\int_{a}^{\infty}f(x)\mathrm{d}x=P(X\ge a)$ ,則整理上面公式可得：
$\begin{equation} \mathrm{E}(X)\ge a P(X\ge a)\rightarrow P(X\ge a)\le \frac{\mathrm{E}(X)}{a} \end{equation}$
綜上所述，我們得到馬爾科夫不等式如下：
$\begin{equation} P(X\ge a)\le \frac{\mathrm{E}(X)}{a} \end{equation}$
假設樣本和概率表示如下：

Sample	$x_1=1$	$x_2=2$	$x_3=3$	$x_4=4$	$x_5=5$
P	$p_1$	$p_2$	$p_3$	$p_4$	$p_5$

$\begin{equation} \mathrm{E}(X)=p_1x_1+p_2x_2+p_3x_3+p_4x_4+p_5x_5 \end{equation}$

我們假設期望為1 ， $\mathrm{E}(X)=1$
- $\begin{equation} \mathrm{E}(X)=p_1x_1+p_2x_2+p_3x_3+p_4x_4+p_5x_5=1 \end{equation}$
X>3的概率如下：
$\begin{equation} Prob(X\ge 3)\le\frac{\mathrm{E}(X)}{3}\rightarrow Prob(X\ge 3)\le\frac{1}{3}\end{equation}$
$\begin{equation} p_3+p_4+p_5\le\frac{1}{3}\end{equation}$

2.3 Markov不等式公式舉例：

假設Andrew在平時工作一個星期中平均下來一個星期會犯 4 次錯，也就是期望 $\mathrm{E}(X)=4$ ,那么我們想知道如果Andrew在平時工作一個星期中會犯 10 次以上的錯的概率多少？轉換到數學公式如下：
$\begin{equation} \mathrm{E}(X)=4, Prob(X>10)\le \frac{\mathrm{E}(X)}{10}\rightarrow Prob(X>10)\le40\% \end{equation}$

也就是說Andrew 在平時一個星期中犯錯10次以上的概率不會超過 $40\%$

2.4 Chebyshev不等式公式概述：

如果隨機變量X的期望 $\mu$ ,方差 $\sigma$ 存在，則對于任意 $\epsilon >0$ ，有如下公式：
$\begin{equation} P{(|X-\mu|\ge \epsilon)}\le \frac{\sigma^2}{\epsilon^2} \end{equation}$

2.5 Chebyshev不等式公式證明：

我們已經證明了馬爾科夫不等式表示如下：
$\begin{equation} P(Y\ge a)\le \frac{\mathrm{E}(Y)}{a} \end{equation}$

這里我們令 $Y=(X-\mu)^2,a=\epsilon^2$ 代入到公式中：
$\begin{equation} P((X-\mu)^2\ge \epsilon^2)\le \frac{\mathrm{E}((X-\mu)^2)}{\epsilon^2} \end{equation}$
我們可以發現 $P((X-\mu)^2\ge \epsilon^2)$ 等效于 $P(|X-\mu|\ge \epsilon)$ , $\sigma^2=\mathrm{E}((X-\mu)^2)$
整理上述公式可得切爾雪夫不等式結果：
$\begin{equation} P(|X-\mu|\ge \epsilon)\le \frac{\sigma^2}{\epsilon^2} \end{equation}$

3. 協方差矩陣

設 $\Omega$ 為樣本空間，P是定義在 $\Omega$ 的事件族 $\Sigma$ 上的概率，換句話來說, $\Omega,\Sigma,P$ 是個概率空間；若X與Y定義在 $\Omega$ 上兩個實數隨機變量，期望分別為：
$\begin{equation} \mathrm{E}(X)=\int_{\Omega}X\mathrm{d}P=\mu;\mathrm{E}(Y)=\int_{\Omega}Y\mathrm{d}P=v; \end{equation}$

則兩者間的協方差定義為：
$\begin{equation} \mathrm{cov}(X,Y)=\mathrm{E}[(X-\mu)(Y-v)] \end{equation}$

3.1 舉例

[感覺老師舉的例子不好]
假設我們有兩個硬幣，X,Y 正反的概率均為0.5，那么概率矩陣為：

當兩個硬幣單獨扔下去時，概率矩陣如下：

Sample	$x_1=正$	$x_2=反$
$y_1=正$	$\frac{1}{4}$	$\frac{1}{4}$
$y_2=反$	$\frac{1}{4}$	$\frac{1}{4}$

當兩個硬幣粘貼在一起扔下去時，概率矩陣如下：

Sample	$x_1=正$	$x_2=反$
$y_1=正$	$\frac{1}{2}$	$0$
$y_2=反$	$0$	$\frac{1}{2}$

當三個硬幣單獨扔下去時,兩個硬幣用平面表示，三個硬幣用立方體表示
$\begin{equation} P_{HHH}=\frac{1}{8} \end{equation}$

3.2 Python 代碼

$\mathrm{COV}(X,Y)= 0.14516142787498987$

import numpy as np
import matplotlib.pyplot as plt# Generate some data
x = np.random.rand(100)
y = 2 * x + np.random.normal(0, 0.1, 100)  # y is roughly 2 times x with some noise# Calculate the covariance matrix
cov_matrix = np.cov(x, y)# Extract the covariance value
cov_xy = cov_matrix[0, 1]print(f"Covariance between x and y: {cov_xy}")# Plotting the data
plt.scatter(x, y)
plt.title('Scatter plot of x and y')
plt.xlabel('x')
plt.ylabel('y')
plt.show()

在這里插入圖片描述

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/web/39991.shtml
繁體地址，請注明出處：http://hk.pswp.cn/web/39991.shtml
英文地址，請注明出處：http://en.pswp.cn/web/39991.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！