目錄
- 一、為什么UNET模型可以用于去噪網絡
- 二、擴散模型中的UNET是一個條件去噪網絡,怎么實現的
- 三、UNET用于分割和用去去噪的區別
一、為什么UNET模型可以用于去噪網絡
下采樣部分: 能夠提取圖像的深層次特征,這些特征往往包含圖像的重要結構和信息,而噪聲通常被視為不相關的隨機信息。通過卷積層的逐層處理,噪聲信息在特征提取過程中被逐漸削弱。
上采樣部分: 利用上采樣和卷積操作恢復圖像的尺寸和細節。跳躍連接結構將編碼器的特征圖直接傳遞給解碼器,使得解碼器能夠利用更多的信息來恢復圖像的細節,同時避免信息丟失和模糊。
二、擴散模型中的UNET是一個條件去噪網絡,怎么實現的
我們知道普通的UNET是一個單獨的去噪網絡,擴散模型中的UNET是一個條件去噪網絡,那這個條件去噪網絡是怎么實現的呢,答案就是time embedding,實現過程如下圖所示,我們可以把這個過程理解為一個查表操作,根據輸入t,按照PositionalEmbedding 查找對應特征向量,再經過線性和非線性變換,最終得到一個指示向量,目的是告訴去噪網絡,我現在在做的是第t步的去噪。
三、UNET用于分割和用去去噪的區別
分割: 在圖像分割任務中,訓練數據是原始圖像,原始圖像中存在的所有對象都可以被標記為某一類別。一張圖像所對應的標簽一般是與原始圖像相同尺寸的標簽矩陣,即“遮罩矩陣”。遮罩矩陣中的顏色數量等同于這張標簽上的標簽類別數量。
降噪: 在降噪任務中,訓練數據集包含噪聲圖像和對應的清晰圖像。UNET模型將噪聲圖像輸入編碼器,通過前向傳播計算損失函數,衡量噪聲圖像與清晰圖像之間的差異,并使用反向傳播更新模型參數,優化模型的降噪性能。