核心思想與定義

擴散模型的核心思想是：學習一個去噪過程，以逆轉一個固定的加噪過程。

1. 前向過程（固定）： 定義一個馬爾可夫鏈，逐步向數據 ${\mathbf{x}}_0～q({\mathbf{x}}_0)$ 添加高斯噪聲，產生一系列噪聲逐漸增大的隱變量 ${\mathbf{x}}_1,...,{\mathbf{x}}_T$。最終 ${\mathbf{x}}_T$ 近似為一個標準高斯分布。
   $$q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)=\prod _{t=1}^{T}q({\mathbf{x}}_t|{\mathbf{x}}_{t?1}),\text{其中}q({\mathbf{x}}_t|{\mathbf{x}}_{t?1})=\mathcal{N}({\mathbf{x}}_t;\sqrt{1?{\beta }_t}{\mathbf{x}}_{t?1},{\beta }_t\mathbf{I})$$
   這里 {βt}t=1T\{\beta_t\}_{t=1}^T{βt?}t=1T? 是預先定義好的方差調度表。

2. 反向過程（可學習）： 我們想要學習一個參數化的反向馬爾可夫鏈 $p_{\theta }$，從噪聲 ${\mathbf{x}}_T～\mathcal{N}(0,\mathbf{I})$ 開始，逐步去噪以生成數據。
   $$p_{\theta }({\mathbf{x}}_{0:T})=p({\mathbf{x}}_T)\prod _{t=1}^T{p}_{\theta }({\mathbf{x}}_{t?1}|{\mathbf{x}}_t),\text{其中}{p}_{\theta }({\mathbf{x}}_{t?1}|{\mathbf{x}}_t)=\mathcal{N}({\mathbf{x}}_{t?1};{\mu }_{\theta }({\mathbf{x}}_t,t),{\mathbf{\Sigma }}_{\theta }({\mathbf{x}}_t,t))$$
   我們的目標是讓 $p_{\theta }({\mathbf{x}}_0)$ 盡可能接近真實數據分布 $q({\mathbf{x}}_0)$。

3. 前向過程的閉式解： 得益于高斯分布的可加性，我們可以直接從 ${\mathbf{x}}_0$ 采樣任意時刻 $t$ 的 ${\mathbf{x}}_t$：
   $$q({\mathbf{x}}_t|{\mathbf{x}}_0)=\mathcal{N}({\mathbf{x}}_t;\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0,(1?{\bar{\alpha }}_t)\mathbf{I})$$
   其中 ${\alpha }_t=1?{\beta }_t$, ${\bar{\alpha }}_t={\prod }_{i=1}^t{\alpha }_i$。使用重參數化技巧，可以寫為：
   $${\mathbf{x}}_t=\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1?{\bar{\alpha }}_t}?,\text{其中}?～\mathcal{N}(0,\mathbf{I})$$
   這個公式至關重要，它允許我們隨機采樣時間步 $t$ 并高效地計算訓練損失。

---

優化目標：變分下界 (VLB/ELBO)

我們的目標是最大化模型生成真實數據的對數似然 $\log p_{\theta }({\mathbf{x}}_0)$。由于其難以直接計算，我們轉而最大化其變分下界（VLB），也稱為證據下界（ELBO）。

$$\begin{array}{rl}\log p_{\theta }({\mathbf{x}}_0)& \ge {\mathbb{E}}_{q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)}\left[\log \frac{p_{\theta }({\mathbf{x}}_{0:T})}{q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)}\right]\\ & ={\mathbb{E}}_q\left[\log \frac{p({\mathbf{x}}_T){\prod }_{t=1}^T{p}_{\theta }({\mathbf{x}}_{t?1}|{\mathbf{x}}_t)}{{\prod }_{t=1}^{T}q({\mathbf{x}}_t|{\mathbf{x}}_{t?1})}\right]\\ & ??L_{\text{VLB}}\end{array}$$
因此，我們最小化 $L_{\text{VLB}}$。

通過對 $L_{\text{VLB}}$ 進行推導（利用馬爾可夫性和貝葉斯定理），可以將其分解為以下幾項：

$$L_{\text{VLB}}={\mathbb{E}}_q[\underset{L_T}{\underbrace{D_{\text{KL}}(q({\mathbf{x}}_T|{\mathbf{x}}_0)\parallel p({\mathbf{x}}_T))}}?\underset{L_0}{\underbrace{\log p_{\theta }({\mathbf{x}}_0|{\mathbf{x}}_1)}}+\sum _{t=2}^T\underset{L_{t?1}}{\underbrace{D_{\text{KL}}(q({\mathbf{x}}_{t?1}|{\mathbf{x}}_t,{\mathbf{x}}_0)\parallel p_{\theta }({\mathbf{x}}_{t?1}|{\mathbf{x}}_t))}}]$$

• $L_T$: 衡量最終噪聲分布與先驗分布 $\mathcal{N}(0,\mathbf{I})$ 的差異。此項沒有可學習參數，接近于0，可以忽略。
• $L_0$: 重建項，衡量最后一步生成圖像與真實圖像的差異。此項在原始DDPM中通過一個離散化decoder處理，實踐中發現其影響較小。
• $L_{t?1}$ ($1\le t\le T$): 這是最關鍵的一項。它衡量的是對于每一個去噪步，真實的去噪分布 $q({\mathbf{x}}_{t?1}|{\mathbf{x}}_t,{\mathbf{x}}_0)$ 和 學習的去噪分布 $p_{\theta }({\mathbf{x}}_{t?1}|{\mathbf{x}}_t)$ 之間的KL散度。

---

核心推導：真實的后驗分布 $q({\mathbf{x}}_{t?1}|{\mathbf{x}}_t,{\mathbf{x}}_0)$

根據貝葉斯定理和馬爾可夫性，我們可以推導出這個真實的后驗分布。它也是一個高斯分布，這意味著我們可以用另一個高斯分布 $p_{\theta }$ 去匹配它。

$$\begin{array}{rl}q({\mathbf{x}}_{t?1}|{\mathbf{x}}_t,{\mathbf{x}}_0)& =\frac{q({\mathbf{x}}_t|{\mathbf{x}}_{t?1},{\mathbf{x}}_0)q({\mathbf{x}}_{t?1}|{\mathbf{x}}_0)}{q({\mathbf{x}}_t|{\mathbf{x}}_0)}\\ & \propto \mathcal{N}({\mathbf{x}}_t;\sqrt{{\alpha }_t}{\mathbf{x}}_{t?1},(1?{\alpha }_t)\mathbf{I})?\mathcal{N}({\mathbf{x}}_{t?1};\sqrt{{\bar{\alpha }}_{t?1}}{\mathbf{x}}_0,(1?{\bar{\alpha }}_{t?1})\mathbf{I})\end{array}$$

經過一系列高斯分布密度函數的乘積和配方，可以得出其均值和方差為：

$$q({\mathbf{x}}_{t?1}|{\mathbf{x}}_t,{\mathbf{x}}_0)=\mathcal{N}({\mathbf{x}}_{t?1};{\tilde{\mu }}_t({\mathbf{x}}_t,{\mathbf{x}}_0),{\tilde{\beta }}_t\mathbf{I})$$

$$\text{其中}{\tilde{\mu }}_t({\mathbf{x}}_t,{\mathbf{x}}_0)=\frac{1}{\sqrt{{\alpha }_t}}\left({\mathbf{x}}_t?\frac{{\beta }_t}{\sqrt{1?{\bar{\alpha }}_t}}?\right),{\tilde{\beta }}_t=\frac{1?{\bar{\alpha }}_{t?1}}{1?{\bar{\alpha }}_t}{\beta }_t$$

注意：這里 $?$ 是前向過程中添加到 ${\mathbf{x}}_0$ 上生成 ${\mathbf{x}}_t$ 的噪聲。這個 ${\tilde{\mu }}_t$ 的表達式非常關鍵！

---

簡化損失函數：從均值預測到噪聲預測

現在我們來看要最小化的 $L_{t?1}$，它是兩個高斯分布的KL散度。高斯分布的KL散度主要由其均值的差異主導（假設方差固定）。

$$\begin{array}{rl}{L}_{t?1}& ={\mathbb{E}}_q\left[D_{\text{KL}}(q({\mathbf{x}}_{t?1}|{\mathbf{x}}_t,{\mathbf{x}}_0)\parallel p_{\theta }({\mathbf{x}}_{t?1}|{\mathbf{x}}_t))\right]\\ & ={\mathbb{E}}_q\left[\frac{1}{2{\sigma }_t^2}\Vert {\tilde{\mu }}_t({\mathbf{x}}_t,{\mathbf{x}}_0)?{\mu }_{\theta }({\mathbf{x}}_t,t){\Vert }^2\right]+C\end{array}$$

現在我們有兩個選擇：

1. 讓網絡 ${\mu }_{\theta }$ 直接預測均值 ${\tilde{\mu }}_t$。
2. 根據 ${\tilde{\mu }}_t$ 的表達式，重新參數化模型。

DDPM選擇了第二種方式，因為它效果更好。我們將 ${\tilde{\mu }}_t$ 的表達式代入：

$${\mu }_{\theta }({\mathbf{x}}_t,t)=\frac{1}{\sqrt{{\alpha }_t}}\left({\mathbf{x}}_t?\frac{{\beta }_t}{\sqrt{1?{\bar{\alpha }}_t}}{?}_{\theta }({\mathbf{x}}_t,t)\right)$$

這里，我們不再讓網絡預測均值，而是讓它預測噪聲 $?$，即 ${?}_{\theta }({\mathbf{x}}_t,t)$。將這個表達式代入上面的損失函數，經過簡化（忽略權重系數），我們得到最終極其簡潔的損失函數：

$$L_{\text{simple}}={\mathbb{E}}_{{\mathbf{x}}_0,t,?～\mathcal{N}(0,\mathbf{I})}\left[\Vert ??{?}_{\theta }(\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1?{\bar{\alpha }}_t}?,t){\Vert }^2\right]$$

這個損失函數的直觀解釋是：對于一張真實圖像 ${\mathbf{x}}_0$，隨機選擇一個時間步 $t$，隨機采樣一個噪聲 $?$，構造出噪聲圖像 ${\mathbf{x}}_t$。然后，我們訓練一個網絡 ${?}_{\theta }$，讓它根據 ${\mathbf{x}}_t$ 和 $t$ 來預測出我們添加的噪聲 $?$。損失就是預測噪聲和真實噪聲之間的均方誤差。

---

總結：優化流程

1. 輸入：從訓練集中采樣一張真實圖像 ${\mathbf{x}}_0$。
2. 加噪：
   • 均勻采樣一個時間步 $t～\text{Uniform}(1,...,T)$。
   • 從標準高斯分布采樣噪聲 $?～\mathcal{N}(0,\mathbf{I})$。
   • 計算 ${\mathbf{x}}_t=\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1?{\bar{\alpha }}_t}?$。
3. 預測：將 ${\mathbf{x}}_t$ 和 $t$ 輸入神經網絡 ${?}_{\theta }$，得到其對噪聲的預測 ${?}_{\theta }({\mathbf{x}}_t,t)$。
4. 優化：計算損失 $L=\Vert ??{?}_{\theta }{\Vert }^2$，并通過梯度下降更新網絡參數 $\theta$。
5. 重復：重復步驟1-4直至收斂。

這個框架的巧妙之處在于，它將一個復雜的生成問題，分解為了 $T$ 個相對簡單的去噪問題。網絡 ${?}_{\theta }$ 不需要一步生成完美圖像，只需要在每一步完成一個更簡單的任務：預測噪聲。這使得訓練非常穩定，也是擴散模型成功的核心原因。