重讀生成概率模型1----基礎概念

1 KL 散度

KL 散度的作為是描述兩個分布的差異的，首先是度量一個分布，用熵來度量。

1.1 熵

在介紹熵之間，首先要度量單個事件的信息量
$I (x) = ? l o g P (x)$
整體的信息量
$\begin{aligned} H(P) &=E_{x~P}[-logP(x)] \\ & = -\sum P(x)logP(x) \end{aligned}$

1.2 KL 散度

原本數據真實的分布應該是p(x),但是現在搞錯了，搞成q(x)
本來一個信息應該用-logP(x)描述，現在變成了-logq(x),
$\begin{aligned} D_{KL}(P||Q)=E_{x~p}[log\frac{P(x)}{Q(x)}]=\sum_xP(x)log\frac{P(x)}{Q(x)} \end{aligned}$

1.3 應用

softmax分類問題的KL散度
對于每個樣本來說，正確的類別
$\begin{aligned} P(x_k)=1,Q(x_k)=\frac{e^{x_k}}{e^{x_1}+e^{x_2}+...+e^{x_n}} \\ D_{KL}(P||Q)=-logQ(x_k) =-log\frac{e^{x_k}}{e^{x_1}+e^{x_2}+...+e^{x_n}} \end{aligned}$
高斯分布問題的KL 散度
$\begin{aligned} P(x)=\frac{1}{\sqrt{2\pi}} e^{\frac{-x^2}{2}} \\ logP(x)=-\frac{1}{2}log(2\pi)-\frac{x^2}{2} \\ Q(x)=\frac{1}{\sqrt{2\pi}\sigma} e^{\frac{-(x-\mu)^2}{2\sigma^2}} \\ logQ(x)=-\frac{1}{2}log(2\pi)-\frac{(x-\mu)^2}{2\sigma^2}-log(\sigma) \\ D_{KL}(P||Q)=E_p[logP(x)-logQ(x)]=E_p[log_{\sigma}+\frac{(x-\mu)^2}{2\sigma^2}-\frac{x^2}{2} ]\\ D_{KL}(P||Q)=log(\sigma)+\frac{1}{2\sigma^2}E_p[(x-\mu)^2]-\frac{1}{2}E_p(x^2) \\ D_{KL}(P||Q)=log(\sigma)+\frac{1+\mu^2}{2\sigma^2}-\frac{1}{2} \end{aligned}$

其中，直覺的理解是總平方距離=抖動平方+偏移的平方
$\begin{aligned} E_p[(x-\mu)^2] &=E_p[(x-E(x)+E(x)-\mu)^2] \\ & = E_p[(x-E(x)^2)]+2E_p[x-E(x)][E(x)-\mu]+E_p[(E(x)-\mu)^2] \\ & = var(x)+\mu^2 \end{aligned}$

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/bicheng/98277.shtml
繁體地址，請注明出處：http://hk.pswp.cn/bicheng/98277.shtml
英文地址，請注明出處：http://en.pswp.cn/bicheng/98277.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！