Noise Conditional Score Network

NCSN
$p_\sigma(\tilde{\mathrm{x}}|\mathrm{x}) := \mathcal{N}(\tilde{\mathrm{x}}; \mathrm{x}, \sigma^2\mathbf{I})$
$p_\sigma(\mathrm{\tilde{x}}) := \int p_{data}(\mathrm{x})p_\sigma(\mathrm{\tilde{x}}|\mathrm{x})d\mathrm{x}$
$p_{data}(x)$ 表示目標數據分布。 $\sigma_{\mathrm{min}}=\sigma_1<\sigma_2<\cdot\cdot\cdot<\sigma_N=\sigma_{\mathrm{max}}$
$\sigma_{\mathrm{min}}$ 足夠小，以至于 $p_{\sigma_{\mathrm{min}}}(\mathrm{x}) \approx p_{data}(\mathrm{x}))$ , $\sigma_{\mathrm{max}}$ 足夠大，以至于 $p_{\sigma_{\mathrm{min}}}(\mathrm{x})) \approx \mathcal{N}(\mathbf{x}; \mathbf{0}, \sigma^2_{\mathrm{max}}\mathbf{I})$

$\theta^{*} = \argmin_\theta \sum_{i=1}^N \sigma_i^2 \mathbb{E}_{\mathrm{x}\sim p_{data}(\mathrm{x})}\mathbb{E}_{\tilde{\mathrm{x}}\sim p_{\sigma_i}(\tilde{\mathrm{x}}|\mathrm{x})} \Big[ ||s_\theta(\tilde{\mathrm{x}}, \sigma_i) - \mathbf{\triangledown}_{\tilde{\mathrm{x}}}\mathrm{log}p_{\tilde{\sigma}}(\tilde{\mathrm{x}}|\mathrm{x})||^2_2\Big]$

模型訓練完畢后，執行M步Langevin MCMC采樣：
$x_i^m = x_i^{m-1} + \epsilon_i s_{\theta^{*}}(x_i^{m-1}, \sigma_i) + \sqrt{2\epsilon_i}z_i^m, \quad m=1,2,\cdot\cdot\cdot, M$
$\epsilon_i>0$ 為步長， $z_i^m$ 是標準正態分布。上述采樣過程重復 $\cdot\cdot\cdot, 1$ ，也就是說對于每個noise level，執行N步，直至樣本收斂至當前noise level的最佳位置。
$x_N^0 \sim \mathcal{N}(\mathrm{x}|0, \sigma^2_{max}\mathbf{I}), \ x_i^0 = x_{i+1}^M \mathrm{when}\ i < N$

樣例代碼如下：

import torch
def langevin_sampling(score_network, noise_levels, num_steps, step_size, batch_size, device):# 初始化樣本，從標準正態分布中采樣x = torch.randn(batch_size, 3, 32, 32).to(device)# 多級噪聲采樣，從高噪聲到低噪聲逐步采樣，最終得到逼近目標分布的樣本for sigma in noise_levels:print(f"Sampling at noise level: {sigma}")# Langevin動力學迭代for _ in range(num_steps):# 計算分布函數梯度（由分數網絡預測）with torch.no_grad():grad = score_network(x, sigma) # 輸入當前樣本和噪聲水平# 梯度上升步x = x + step_size * grad# 添加隨機噪聲步noise = torch.randn_like(x) * (2 * step_size) ** 0.5x = x + noisereturn xclass DummyScoreNet(nn.Module):def forward(self, x, sigma):return -x / (sigma ** 2)device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
score_network = DummyScoreNet().to(device)noise_levels = [50.0, 25.0, 10.0, 5.0, 1.0]
num_steps = 50
step_size = 0.1
batch_size = 64samples = langevin_sampling(score_network,noise_levels,num_steps,step_size,batch_size,device)

本文來自互聯網用戶投稿，該文觀點僅代表作者本人，不代表本站立場。本站僅提供信息存儲空間服務，不擁有所有權，不承擔相關法律責任。
如若轉載，請注明出處：http://www.pswp.cn/web/68020.shtml
繁體地址，請注明出處：http://hk.pswp.cn/web/68020.shtml
英文地址，請注明出處：http://en.pswp.cn/web/68020.shtml

如若內容造成侵權/違法違規/事實不符，請聯系多彩編程網進行投訴反饋email:809451989@qq.com，一經查實，立即刪除！