【小呆的隨機振動力學筆記】概率論基礎

文章目錄

- - 0. 概率論基礎
  - - 0.1 概率的初步認知
    - 0.2 隨機變量的分布
    - 0.3 隨機變量的數字特征
    - - 0.3.1 隨機變量的期望算子
      - 0.3.2 隨機變量的矩
    - 0.4 隨機變量的特征函數
    - 0.5 高數基礎
    - 附錄A 典型分布

0. 概率論基礎

$\quad\quad$ 在生活中或自然中，處處都存在隨機現象，比如每次拋硬幣的結果有正面有反面，同樣狀態下槍連續發射多次，彈著點是一個范圍，這就是隨機性。更加嚴謹的說，在相同條件下對其做大量重復試驗，每次結果未必相同或者知道過去的狀態，但在事情發生前不能預知未來，這種非確定性現象就是隨機。

0.1 概率的初步認知

$\quad\quad$ 人們對概率的認知主要來自于重復試驗的事件發生頻次，即在相同條件下進行了 $n$ 次試驗，事件 $A$ 發生了 $m$ 次，那么其頻率為 $fn(A)=mnf_n(A)=\frac{m}{n}$ ，我們稱之為事件A發生的概率。
$\quad\quad$ 對于一個隨機現象，其所有可能發生的結果組成樣本空間 $Ω\Omega$ ，那么在樣本空間上的概率為 $P(Ω)=1P(\Omega)=1$ 。如果部分的試驗結果組成集合 $A$ ，那么有 $A?ΩA\subset \Omega$ ，同時有概率 $0≤P(A)≤10\le P(A)\le1$ 滿足。集合論的運算律通過文氏圖能夠清晰的顯示，同樣可以用文氏圖來說明概率的一些運算律。
$\quad\quad$ 1.加法 $\quad\quad$ $P(A∪B)=P(A)+P(B)?P(A∩B)(0-1)P(A\cup B)=P(A)+P(B)-P(A\cap B)\tag{0-1}$
下左圖中， $P(A∪B)P(A\cup B)$ 為A和B組成陰影部分的概率，下右圖中 $P(A∩B)P(A\cap B)$ 為A和B相交部分的概率，上式意思為A或B發生的概率為A單獨發生和B單獨發生的概率之和減去A和B同時發生的概率。
在這里插入圖片描述

$\quad\quad$ 2.除法
$\quad\quad$ 在講除法時前先要引入條件概率的定義，即當B發生時A發生的概率稱為B條件下A的概率，記為 $P (A ∣ B)$ 。當B發生時，樣本空間變為 $Ω′=B\Omega^{'}=B$ ，那么此時A發生的概率用在原樣本空間 $Ω\Omega$ 上定義的概率來表示即
$P(A∣B)=P(A∩B)P(B)(0-2)P(A|B)=\frac{P(A\cap B)}{P(B)}\tag{0-2}$
這就是概率的除法。

$\quad\quad$ 3.乘法 $\quad\quad$ 將上式分母乘到左側就是概率乘法，特別的當A和B為獨立的事件，那么乘法可以變為
$P(A∩B)=P(A∣B)P(B)=P(A)P(B)(0-3)P(A\cap B)=P(A|B)P(B)=P(A)P(B)\tag{0-3}$
**注1：這里可以得到全概率公式，即對于 $∪i=1nBi=Ω\cup_{i=1}^nB_i=\Omega$ ，有 $P(A)=∑i=1nP(A∣Bi)P(Bi)P(A)=\sum_{i=1}^nP(A|B_i)P(B_i)$
**注2：同時可以得到貝葉斯公式，由 $P(A∩B)=P(A∣B)P(B)=P(B∣A)P(A)P(A\cap B)=P(A|B)P(B)=P(B|A)P(A)$ 可以得到 $P(B∣A)=P(A∣B)P(B)∑i=1nP(A∣Bi)P(Bi)P(B|A)=\frac{P(A|B)P(B)}{\sum_{i=1}^nP(A|B_i)P(B_i)}$

0.2 隨機變量的分布

$\quad\quad$ 對于離散隨機變量，其在某點上的概率為 $P (X = x)$ ，稱為頻率函數，隨機變量取小于或等于某一狀態量的概率為 $FX(x)=P(X≤x)F_X(x)=P(X\le x)$ ，稱為累積函數（代表離散隨機變量取值 $X≤xX\le x$ 概率和）
$\quad\quad$ 對于連續隨機變量有一點變化，連續隨機變量在一點上概率為零，但其在某區間上的概率可以定義為 $P(a≤X≤b)=∫abfX(x)dxP(a\le X\le b)=\int_a^bf_X(x)dx$ 稱為概率密度函數(pdf)，隨機變量取小于或等于某一狀態量的概率為 $FX(x)=P(X≤x)=∫?∞xfX(x′)dx′F_X(x)=P(X\le x)=\int_{-\infty}^xf_X(x')dx'$ ，稱為累積函數(cdf)。
$\quad\quad$ 離散常用的有伯努利分布、二項分布、幾何分布、泊松分布等，連續常用的有正態分布(高斯分布)、指數分布、均勻分布，詳見附錄A。

0.3 隨機變量的數字特征

0.3.1 隨機變量的期望算子

$\quad\quad$ 首先，先引入期望算子 $E(?)E(\cdot)$ ，對于離散型隨機變量，其對隨機變量函數的期望為
$E(g(x))=∑ig(xi)P(X=xi)(0-4)E(g(x))=\sum_ig(x_i)P(X=x_i)\tag{0-4}$
$\quad\quad$ 對于連續型隨機變量，其對隨機變量函數的期望為
$E(g(x))=∫?∞+∞g(x)fX(x)dx(0-5)E(g(x))=\int_{-\infty}^{+\infty} g(x)f_X(x)dx\tag{0-5}$
**注：當然隨機變量期望存在的前提條件為期望和式收斂或期望積分式是有限的。
$\quad\quad$ 期望算子是一個線性算子，即有下式成立
$E(Y=a+∑i=1nXi)=a+∑i=1nE(Xi)(0-6)E(Y=a+\sum_{i=1}^nX_i)=a+\sum_{i=1}^nE(X_i)\tag{0-6}$

0.3.2 隨機變量的矩

$\quad\quad$ 矩是隨機變量重要數字特征，定義 $k$ 階原點矩，如下所示（連續隨機變量，離散同理可列，這里暫略）
$E(xk)=∫?∞+∞xkfX(x)dx(0-7)E(x^k)=\int_{-\infty}^{+\infty} x^kf_X(x)dx\tag{0-7}$
$\quad\quad$ 那么顯然隨機變量的一階原點矩就是均值 $μ\mu$ ，即有 $E(x)=∫?∞+∞xfX(x)dx=μE(x)=\int_{-\infty}^{+\infty} xf_X(x)dx=\mu$
$\quad\quad$ 隨機變量的二階原點矩是均方值。如果 $X (i)$ 是在單位電阻上的隨機電流，那么其上的功率為 $p=x2?1p=x^2\cdot 1$ ，這時功率是隨機變量 $X (i)$ 的函數，那么其期望為
$E(x2)=∫?∞+∞x2fX(x)dx=∫?∞+∞x2?1?fX(x)dx=∫?∞+∞p?fX(x)dx(0-8)E(x^2)=\int_{-\infty}^{+\infty} x^2f_X(x)dx=\int_{-\infty}^{+\infty} x^2\cdot 1\cdot f_X(x)dx=\int_{-\infty}^{+\infty} p \cdot f_X(x)dx\tag{0-8}$
因此，也稱隨機變量 $X (i)$ 二階原點矩為平均功率（此處的平均是指概率平均）。
$\quad\quad$ 定義 $k$ 階中點矩如下
$E([x?E(x)]k)=∫?∞+∞[x?E(x)]kfX(x)dx(0-9)E([x-E(x)]^k)=\int_{-\infty}^{+\infty} [x-E(x)]^kf_X(x)dx\tag{0-9}$
$\quad\quad$ 隨機變量 $X (i)$ 二階中心矩就是方差 $σX2=E([x?E(x)]2)=∫?∞+∞[x?E(x)]2fX(x)dx\sigma_X^2=E([x-E(x)]^2)=\int_{-\infty}^{+\infty} [x-E(x)]^2f_X(x)dx$
以上是對一維隨機變量，二維的隨機變量的矩定義如下
$\quad\quad$ 聯合原點矩：
$E(xmyn)=∫?∞+∞xmynfXY(x,y)dx(0-10)E(x^my^n)=\int_{-\infty}^{+\infty} x^my^nf_{XY}(x,y)dx\tag{0-10}$
$\quad\quad$ 聯合中心距:
$E[(x?μx)m(y?μy)n]=∫?∞+∞(x?μx)m(y?μy)nfXY(x,y)dx(0-11)E[(x-\mu_x)^m(y-\mu_y)^n]=\int_{-\infty}^{+\infty} (x-\mu_x)^m(y-\mu_y)^nf_{XY}(x,y)dx\tag{0-11}$
聯合中心距在 $m = n = 1$ 時特別有用，稱為協方差 $C(x,y)=E[(x?μx)(y?μy)]=E(xy)?μxμyC(x,y)=E[(x-\mu_x)(y-\mu_y)]=E(xy)-\mu_x\mu_y$
其意義為隨機變量 $X$ 和隨機變量 $Y$ 取值存在的相互關聯性，將其歸一化，如下稱為相關系數
$ρXY=C(x,y)σXσY(0-12)\rho_{XY}=\frac{C(x,y)}{\sigma_X\sigma_Y}\tag{0-12}$

0.4 隨機變量的特征函數

$\quad\quad$ 在概率計算或者推理過程中，往往會用到以下函數
$E(eiθx)=∫?∞+∞eiθxfX(x)dx(0-13)E(e^{i\theta x})=\int_{-\infty}^{+\infty} e^{i\theta x}f_X(x)dx\tag{0-13}$

0.5 高數基礎

$\quad\quad$ 分布積分：
$∫abf(x)g′(x)dx=f(x)g(x)∣ab?∫abf′(x)g(x)dx(0-14)\int_{a}^{b} f(x)g^{'}(x)dx=f(x)g(x)|_a^b-\int_{a}^{b} f^{'}(x)g(x)dx\tag{0-14}$
$\quad\quad$ 積分換元：
$∫abf(x)dx=∫αβf(φ(t))φ′(t)d(t)(0-15)\int_{a}^{b} f(x)dx=\int_{\alpha}^{\beta} f(\varphi (t))\varphi ^{'}(t)d(t)\tag{0-15}$

$\quad\quad$ 特殊積分：
$∫?∞+∞e?x2dx=π(0-16)\int_{-\infty}^{+\infty} e^{-x^2}dx=\sqrt{\pi}\tag{0-16}$

附錄A 典型分布

一維正態分布（高斯分布）：
$\quad f(x)=\frac{1}{\sigma\sqrt {2\pi}}\exp(-\frac{(x-\mu)^2}{2\sigma^2})\tag{0-17}$
高斯分布在概率論、統計、隨機過程等占據非常核心的位置，在工業界、物理界也是最常存在的一種隨機變量分布，比如誤差模型等。

指數分布
$\quad f(x)=\begin{cases}\quad\lambda\exp(-\lambda x),\quad &x\ge0\\ \quad 0, &x\lt0 \end{cases}\tag{0-18}$
指數分布是有解析形式的累積分布函數的，如下
$\quad F(x)=\begin{cases}\quad1-\exp(-\lambda x),\quad &x\ge0\\ \quad 0, &x\lt0 \end{cases}\tag{0-19}$
指數分布常用于電子元件的壽命預估中，而且指數分布有一個特點是無記憶性，即
$P(T>t+s∣T>s)=P(T>t+s)P(T>s)=1?F(t+s)1?F(s)=exp?(?λ(t+s))exp?(?λs)=exp?(?λt)(0-20)P(T\gt t+s|T\gt s)=\frac{P(T\gt t+s)}{P(T\gt s)}=\frac{1-F(t+s)}{1-F(s)}=\frac{\exp(-\lambda (t+s))}{\exp(-\lambda s)}=\exp(-\lambda t)\tag{0-20}$
當一個電子元件不失效的壽命為 $s$ 的情況下，繼續過 $t$ 時間不失效的概率和一個電子元件壽命為 $t$ 不失效一樣。

泊松分布
泊松分布是一類非常重要的離散型分布，其頻率函數如下
$頻率函數：P(X=k)=λkk!exp?(?λ)(0-21)頻率函數：\quad P(X=k)=\frac{\lambda^k}{k!}\exp(-\lambda)\tag{0-21}$
泊松分布的來源或者說其本質假設是（1）不同次的抽樣試驗發生的概率相同，（2）不同次的抽樣試驗發生彼此獨立，（3）不同次的抽樣試驗中試驗結果得是互斥的。
值得指出的是，泊松分布和指數分布有很大的聯系，假設每單位時間長度發生A事件的次數概率服從參數為 $λ\lambda$ 泊松分布，那么當 $t=t_0$ 時刻發生事件A，那么在 $t_0,t_0+t)$ 時間內發生A事件次數服從 $λt\lambda t$ 泊松分布。那么在 $t_0,t_0+t)$ 時間內不發生事件A的概率為
$P(X=0)=(λt)00!exp?(?λt)=exp?(?λt)(0-22)P(X=0)=\frac{(\lambda t)^0}{0!}\exp(-\lambda t)=\exp(-\lambda t)\tag{0-22}$
因此在 $t=t_0$ 時刻發生事件A的情況下，下一次事件A發生的時間至少為 $t$ 的概率為
$P(T>t)=exp?(?λt)(0-23)P(T\gt t)=\exp(-\lambda t)\tag{0-23}$
因此下一次事件A發生的時間至多為 $t$ 時間服從指數分布
$P(T<t)=1?exp?(?λt)(0-24)P(T\lt t)=1-\exp(-\lambda t)\tag{0-24}$
參考文獻
[1] John A.Rice. Mathematical Statistics and Data Analysis(Third Edition)