【AI算法崗面試八股面經【超全整理】—

AI算法崗面試八股面經【超全整理】

概率論
信息論
機器學習
CV
NLP

- 1、古典概型、幾何概型
- 2、條件概率、全概率公式、貝葉斯公式
- 3、先驗概率、后驗概率
- 4、離散型隨機變量的常見分布
- 5、連續型隨機變量的常見分別
- 6、數學期望、方差
- 7、協方差、相關系數
- 8、獨立、互斥、不相關
- 9.大數定理
- 10、中心極限定理
- 11、最大似然估計（極大似然估計）

1、古典概型、幾何概型

古典概型：（有限等可能）

樣本空間的數量是有限的
每個樣本點的發生是等可能性的

幾何概型：（無限等可能）

樣本空間的樣本點有無限個
每個樣本點發生的可能性是均等的

2、條件概率、全概率公式、貝葉斯公式

條件概率
設A、B是兩個時間，且 $P (A) > 1$ 代表關節位置，則稱 $P(B|A)=\frac{P(AB)}{P(A)}$ 為事件A發生條件下B的條件概率。

$P (A) > 0$ 時， $P (A B) = P (A) P (B ∣ A)$
$P (B) > 0$ 時， $P (A B) = P (B) P (A ∣ B)$

全概率公式
若事件 $A_1,A_2, A_3,\cdots,A_n$ 滿足以下條件：

$\forall{i\not=j},A_iAj=\emptyset$
$A_1\bigcup A_2\bigcup A_3\bigcup\cdots\bigcup A_n=\Omega$

則稱 $A_1,A_2, A_3,\cdots,A_n$ 為完備事件組
全概率公式為：
$\begin{aligned} P(B)=\sum_{i=1}^{n}P(A_i)P(B|A_i) \\ \end{aligned}$

貝葉斯公式
已知結果找原因，發生了結果B， $A_k$ 被視作導致B發生的原因
設 $A_1,A_2, A_3,\cdots,A_n$ 為完備事件組，且 $P(A_i)>0(i=1,2,\cdots,n)$ ，B為任意事件， $P (B) > 0$ ，則
$\begin{aligned} P(A_k|B)=\frac{P(A_k)P(B|A_k)}{P(B)}= \frac{P(A_k)P(B|A_k)}{\sum_{i=1}^{n}P(A_i)P(B|A_i)}\\ \end{aligned}$
通常把 $P(A_1),P(A_2),\dots,P(A_n)$ 叫做先驗概率，就是在做試驗前的概率，而把 $P(A_k|B)(k=1,2,\dots, n)$
叫做后驗概率。

3、先驗概率、后驗概率

先驗概率

由原因推結果
事情未發生，只根據以往數據統計，分析事情發生的可能性，即先驗概率。
先驗概率是指根據以往經驗和分析得到的概率，如全概率公司，它往往作為“由因求果”問題中的“因”出現。

后驗概率

由結果推原因
事情已發生，已有結果，求引起這件事情發生的因素的可能性，“由果求因”，即后驗概率。
后驗概率是指一句得到的結果信息所計算出的最有可能是哪種事件發生，如貝葉斯公式，是“由因求果”中的因。

全概率公式、貝葉斯公式與先驗、后驗概率的關系？

全概率公式，總結幾種因素，事件發生的概率的并集，由因求果
貝葉斯公式，事情已經發生，計算引起結果的各因素的概率，由因求果，同后驗概率
全概率是用原因推結果，貝葉斯是用結果推原因
后驗概率的計算，是一先驗概率為前提條件的，如果只知道事情結果，而不知道先驗概率（沒有以往數據統計），是無法計算后驗概率的。后驗概率需要應用到貝葉斯公式。

4、離散型隨機變量的常見分布

0-1分布（伯努利分布）

隨機變量只取0或1兩種值（概率分布是p和1-p）
隨機試驗只做一次
$\begin{aligned} X\sim B(1,p)\\ \end{aligned}$

二項分布（伯努利概型）

設試驗E只有兩種可能結果： $A$ 及 $\overline{A}$ ，則稱E為伯努利試驗
將E獨立重復地進行n次，則稱這一連串獨立的重復試驗為n重伯努利分布

隨機變量依然也是兩種0或1（概率分布是p和1-p），但是此時隨機試驗做了n次，其中事件X發生了k次

$\begin{aligned} X\sim B(n,p)\\ \end{aligned}$
設 $P (A = k)$ 表示在n次試驗里面，事件A發生了k次的概率：
$\begin{aligned} P(A=k)=C_n^kp^k{(1-p)}^{n-k}\\ \end{aligned}$
泊松分布
$\begin{aligned} X\sim P(\lambda)\\ \end{aligned}$

$\begin{aligned} P(A=k)=\frac{\lambda^k }{k!}e^{-\lambda}\\ \end{aligned}$

幾何分布
$\begin{aligned} X\sim G(p)\\ \end{aligned}$
在伯努利試驗中，記每次試驗中事件A發生的概率為0，試驗進行到時間A出現為止，此時所進行的試驗次數為X，其分布律為

$\begin{aligned} P(A=k)={(1-p)}^{k-1}p ~~~~~~ (k=0,1,2,\dots )\\ \end{aligned}$

5、連續型隨機變量的常見分別

均勻分布
$\begin{aligned} X\sim U(a,b)\\ \end{aligned}$
$\begin{aligned} f(n)= \begin{cases} \frac{1}{b-a}, & \text {$a<x<b$} \\ 0 & \text{other} \end{cases}\\ \end{aligned}$

指數分布
$\begin{aligned} X\sim E(\lambda)\\ \end{aligned}$
$\begin{aligned} f(n)= \begin{cases}\lambda e^{-\lambda x}, & \text {$x>0$} \\ 0 & \text{other} \end{cases}\\ \end{aligned}$

正態分布/高斯分布
$\begin{aligned} X\sim N(\mu, \sigma ^2)\\ \end{aligned}$

$\begin{aligned} f(x)=\frac{1 }{\sqrt{2\pi}\sigma}e^{-\frac{{(x-\mu)^2} }{2\sigma^2}}\\ \end{aligned}$

特別地，當 $\mu=0,\sigma=1$ 時為標準正態分布， $X\sim N(0, 1)$

6、數學期望、方差

數學期望
數學期望（或均值、簡稱期望）是試驗中每次可能結果的概率乘以其結果的總和。
方差
方差是衡量源數據與期望值相差的度量值。（平方的期望-期望的平方）
$D(X)=E({(X-E(X))}^2)=E(X^2)-E^2(X)$

7、協方差、相關系數

協方差
期望值分別為 $E (X)$ 與 $E (Y)$ 的兩個實隨機變量X與Y之間的協方差 $C o v (A, Y)$ 定義為：
$Cov(X,Y)=E[(X-E[X])(Y-E[Y])]\\=E[XY]-2E[Y]E[X]+E[X]E[Y]\\=E[XY]-E[X]E[Y]$
即X，Y的協方差等于每一個X減去X的平均值乘上每一個Y減去Y的平均值的乘積的和的平均值。

相關系數
（皮爾遜相關系數）
$p_{xy}=\frac{Cov(X,Y}{\sqrt{D(X)}\sqrt{D(Y)}}$
即，用X，Y的協方差除以X的標準差和Y的標準差

8、獨立、互斥、不相關

獨立
事件A與事件B獨立的定義是：
$P (A B) = P (A) P (B)$

互斥
事件A與事件B互斥的定義是：
集合A與集合B沒有相同的樣本點，即 $A\bigcap B =\empty$

不相關
事件A與事件B不相關的定義是：
$C o v (A, B) = E [A B] ? E [A] E [B] = 0$

如果事件A和事件B發生的概率都不為0，那么獨立和互斥有這樣一層關系：互斥不獨立，獨立不互斥
在數學期望存在的情況下：獨立必不相關，不相關未必獨立

9.大數定理

通俗一點來講，就是樣本數量很大的時候，樣本均值和數學期望充分接近，也就是說當我們大量重復某一相同的實驗的時候，其最后的實驗結果可能會穩定在某一數值附近。
如果有一個隨機變量X，不斷地觀察并且采樣這個隨機變量，得到了n個采樣值， $X_1,X_2,\dots,X_n$ ，然后求得這n個采樣值的平均值 $\overline{X}_n$ ，當n趨于正無窮的時候，這個平均值就收斂于這個隨機變量X的期望。
$\lim_{n \to +\infty} \frac{1}{n}\sum_{i=1}^{n}x_i=\mu$

10、中心極限定理

設隨機變量 $X_1,X_2,\dots,X_n$ 相互獨立，服從同一分布，且具有數學期望和方差： $E(X_k)=\mu$ ， $D(X_k)=\theta^2(k=0,1,2,\dots)$ ，則隨機變量之和 $\sum_{k=1}^{n}X_k$ 的標準化變量：
$Y_n=\frac{\sum_{k=1}^{n}X_k-E(\sum_{k=1}^{n}X_k)}{\sqrt{D(\sum_{k=1}^{n}X_k)}}=\frac{\sum_{k=1}^{n}X_k-n\mu}{\sqrt{n}\theta}$
對于均值為 $\mu$ ，方差為 $\theta^2$ 的獨立同分布的隨機變量 $X_1,X_2,\dots,X_n$ 之和 $\sum_{k=1}^{n}X_k$ ，當n足夠大時，有：
$\frac{\frac{1}{n}{\sum_{k=1}^{n}X_k}-\mu}{\frac{\theta}{\sqrt{n}}}\sim N(0,1)$
N個獨立同分布的隨機變量，當N充分大時，其均值服從正態分布。
大數定律和中心極限定理的區別

大數定理更關注的是樣本均值，后者關注的是樣本均值的分布。
比如擲骰子，假設一輪擲骰子n次，重復了m輪，當n足夠大時，大數定理指出這n次的均值等于隨機變量的數學期望，而中心極限定理指出這m輪的均值分布符合數學期望的正態分布。

11、最大似然估計（極大似然估計）

一個簡單的 n 重伯努利模型（二項分布）：事件 A 發生的概率為 p，不發生的概率為 1-p，獨立驗概 n 次，事件 A 發生 k 次的概率為：
$P(A=k)=C_n^kp^k{(1-p)}^{n-k}$
這是一個概率模型，即已知概率p，求另一些概率，即由因求果
而一個數理統計模型是由果溯因，即求解一下問題，p是多大時，事件A發生k次的概率最大，實際上就是一個求參數問題。