DDcGAN_多分辨率圖像融合的雙鑒別條件生成對抗網絡

摘要：

????????在本文中，我們提出了一種新的端到端模型，稱為雙鑒別條件生成對抗網絡（DDcGAN），用于融合不同分辨率的紅外和可見光圖像。我們的方法建立了一個生成器和兩個鑒別器之間的對抗博弈。生成器的目的是基于特定設計的內容損失生成類似真實的融合圖像，以欺騙兩個鑒別器，而兩個鑒別器的目的是除了內容損失之外，分別區分融合圖像與兩個源圖像之間的結構差異。因此，融合圖像被迫同時保持紅外圖像中的熱輻射和可見光圖像中的紋理細節。此外，為了融合不同分辨率的源圖像，例如低分辨率紅外圖像和高分辨率可見光圖像，我們的DDcGAN將下采樣融合圖像約束為具有與紅外圖像相似的屬性。這可以避免導致熱輻射信息模糊或可見紋理細節丟失，這通常發生在傳統方法中。此外，我們還將我們的DDcGAN應用于融合不同分辨率的多模態醫學圖像，例如低分辨率正電子發射斷層掃描圖像和高分辨率磁共振圖像。在公開可用的數據集上進行的定性和定量實驗表明，我們的DDcGAN在視覺效果和定量指標方面都優于最先進的技術。我們的代碼可以在https://github.com/jiayi-ma/DDcGAN上公開獲得。

一.簡介?

???????由于在計算機視覺、遙感、醫學成像、軍事探測等諸多領域的廣泛應用，紅外和可見光圖像融合在圖像信號處理中越來越受歡迎。

????????在這些傳感器中，紅外和可見光傳感器可能是使用最廣泛的傳感器類型，其波長分別為8-14 μm [3] 和300-530 nm [4]。紅外和可見光傳感器相結合的獨特之處在于，可見光傳感器捕獲反射光以表示豐富的紋理細節，而紅外傳感器將捕獲的熱輻射映射為灰度圖像，即使在照明條件不佳或惡劣的情況下也可以突出顯示熱目標。閉塞。由于它們之間具有很強的互補性，融合結果有可能呈現目標的幾乎所有固有屬性，以提高視覺理解[5]。因此，它們的融合在軍事和民用應用中發揮著重要作用[6]，[7]。

????????對于多模態源圖像，圖像融合的關鍵是提取來自不同成像設備的源圖像中最重要的特征信息，并將其合并成單個融合圖像[8]。因此，融合圖像可以提供更復雜和詳細的場景表示，同時減少冗余信息。為此，過去幾十年來提出了許多融合方法。根據相應的方案，這些融合方法可以分為不同的類別，包括基于多尺度變換的方法[9]，[10]，基于稀疏表示的方法[11]，[12]，基于神經網絡的方法[ 13]、基于子空間的方法[14]、基于顯著性的方法[15]、混合方法[16]和其他融合方法[17]、[18]。這些方法致力于以手動方式設計特征提取和融合規則，以獲得更好的融合性能。然而，詳細多樣的特征提取和融合規則設計使得融合方法越來越復雜。

????????由于深度學習最近受到廣泛關注，一些基于深度學習的融合方法被提出。基于深度學習的融合方法的詳細闡述將在第 2 節中討論II-A。盡管這些工作取得了可喜的性能，但仍然存在一些缺點：（i）深度學習框架僅應用于融合過程的某些部分，例如提取特征，而整體融合過程仍然采用傳統框架[19] ]，[20]。 (ii) 面對缺乏事實依據，僅僅設計損失函數的解決方案是不全面和不合適的。（iii）即使源圖像是多模態數據，以人工方式設計的融合規則也強制提取相同的特征。（iv）在現有的基于傳統生成對抗網絡（GAN）[21]，[22]的融合方法中，融合后的圖像只被訓練成與其中一幅源圖像相似，導致另一幅源圖像中包含的一些信息丟失。

? ? ? ? ?手稿于 2018 年 12 月 10 日收到； 2019年9月30日修訂；接受日期：2020 年 2 月 26 日。當前版本日期：2020 年 3 月 12 日。這項工作部分得到了國家自然科學基金委 61773295、61903279 和 61971165 的支持，部分得到了自然科學與工程研究部的支持。加拿大委員會 (NSERC) 授予 RGPIN239031。 Jana Ehmann 博士負責協調本手稿的審查并批準其出版。（通訊作者：梅曉光）馬嘉義、徐韓、梅曉光，武漢大學電子信息學院，湖北武漢 430072（e-mail：jyma2010@gmail.com；meixiaoguang@gmail.com；xu_han@ whu.edu.cn）。蔣軍軍（哈爾濱工業大學計算機科學與技術學院，哈爾濱 150001）（E-mail：junjun0595@163.com）張曉平就職于加拿大多倫多瑞爾森大學電氣、計算機和生物醫學工程系，郵編：ON M5B 2K3（電子郵件：xzhang@ee.ryerson.ca）。數字對象標識符 10.1109/TIP.2020.2977573

????????此外，由于硬件和環境的限制，紅外圖像與相應的可見光圖像相比，始終存在分辨率低、細節模糊的問題，并且很難通過升級硬件設備來提高紅外圖像的分辨率。對于多分辨率紅外和可見光圖像（例如不同分辨率的圖像）的融合，融合前對可見光圖像進行下采樣或對紅外圖像進行上采樣的策略將不可避免地導致熱輻射信息模糊或可見紋理細節損失。因此，融合多分辨率紅外和可見光圖像而不丟失重要信息仍然是一項具有挑戰性的任務。

????????為了解決上述挑戰，在這項工作中，我們提出了一種通過雙判別器條件生成對抗網絡（DDcGAN）的融合方法。該問題被表述為基于條件 GAN [23] 的兩種神經網絡（即一個生成器和兩個判別器）的特定對抗過程。我們將該架構適應于雙鑒別器，并且鑒別器在生成器獲得的生成數據的分布上相互拉動，使得融合圖像同時保留紅外和可見光圖像中最重要的特征信息。我們利用源圖像作為真實數據，并且融合圖像應該與兩種類型的真實圖像無法區分，因此我們的模型中不需要真實的融合圖像。整個網絡是一個端到端的模型，不需要設計融合規則。此外，我們的模型可以推廣到融合不同分辨率的源圖像。特別是，我們將下采樣的融合圖像限制為與紅外圖像具有相似的屬性，并利用可訓練的反卷積層來學習不同分辨率之間的映射。最后但并非最不重要的一點是，我們提出的方法也可以推廣到解決醫學圖像融合問題，例如正電子發射斷層掃描（PET）和磁共振圖像（MRI）融合，可以最大限度地保留功能信息和解剖信息。融合圖像中的范圍。大量結果揭示了我們的 DDcGAN 與其他方法相比的優勢。

????????我們工作的主要貢獻包括以下四個方面。首先，我們提出的方法有助于將基于最小最大兩人博弈的深度學習框架應用于多模態圖像的整體融合過程，而不僅僅是其中的某些子部分。其次，雙判別器架構使生成器能夠得到更充分的訓練，以滿足更嚴格的要求，并避免因僅在一種類型的源圖像上引入判別器而導致的信息丟失。第三，由于利用可訓練的反卷積層和對下采樣融合圖像的內容約束，我們提出的方法展示了更好的多分辨率源圖像融合性能。最后，我們的方法還可以擴展到醫學圖像的融合，例如MRI和PET圖像融合，并取得了有利的性能。 ?

????????該手稿的初步版本出現在[24]中。主要的新貢獻包括以下五個方面。首先，優化了生成器網絡架構，我們用密集連接的卷積網絡替換了 U 網。憑借密集的連接，網絡架構可以加強特征圖的傳輸并更有效地利用它們。沒有大步長造成的損失和上采樣操作造成的模糊，更大程度地保留了源圖像中的信息，以獲得更清晰的融合性能。其次，判別器Dv的輸入不再是待判別圖像的梯度，而是圖像本身。通過將概率空間從源圖像的子空間擴展到整個圖像，融合圖像可以與源圖像具有更多相似的屬性。當網絡試圖最小化子空間中不同概率分布的散度時，它會在源圖像中引入一些額外的噪聲。通過擴大概率空間，可以減輕影響。第三，對于生成器的輸入，即不同分辨率的源圖像，我們沒有使用兩個上采樣層對低分辨率源圖像進行上采樣，而是采用反卷積層來學習從低分辨率到高分辨率的映射。不同的是，該層的參數是在訓練階段獲得的，而不是預先定義的。高分辨率源圖像被輸入另一個反卷積層以生成相同分辨率的特征圖。第四，我們添加了與生成器和兩個判別器相關的更詳細的分析實驗，以驗證其子部分的效果。最后，我們應用所提出的方法來融合不同分辨率的多模態醫學圖像，即低分辨率 PET 圖像和高分辨率 MRI 圖像，并將我們的融合結果與最先進的方法進行定性和定量比較。

????????本文的其余部分組織如下。第二部分描述了一些相關工作，包括現有基于深度學習的融合方法的概述和 GAN 的理論介紹。第三節提供了問題表述、損失函數和網絡架構設計。在第四節中，我們提出的方法被推廣到融合醫學圖像。在第五節中，我們通過對紅外和可見光圖像融合以及 PET 和 MRI 圖像融合的定性和定量比較，將我們的方法與公開數據集上的幾種最先進的方法進行比較。本節還進行了判別器分析的實驗。第六節給出了結論。

二.相關工作

????????在本節中，我們簡要介紹現有的基于深度學習的圖像融合方法。此外，由于我們的方法是基于 GAN 的，因此我們還對其基本理論和改進的網絡（即條件 GAN）進行了簡要說明。 ?

A. 基于深度學習的融合方法

????????由于基于深度學習的研究已經成為近三年圖像融合領域的一個活躍課題[25]，許多基于深度學習的融合方法被提出并逐漸形成一個關鍵分支。在一些方法中，應用深度學習框架以端到端的方式提取圖像特征以進行重建。代表性的有劉等人。 [19]將卷積稀疏表示（CSR）應用于圖像融合，用于提取多層特征，并使用這些特征生成融合圖像。在[26]中，劉等人。提出了一種基于卷積神經網絡（CNN）的醫學圖像融合方法。卷積網絡僅用于生成融合像素活動信息的權重圖，整個融合過程仍然以傳統方式通過圖像金字塔以多尺度方式進行。在[20]中，Li等人。將源圖像分解為基礎部分和細節內容。使用深度學習框架提取細節內容中的多層特征，同時通過加權平均融合基礎部分。然后，將這兩部分組合起來進行重建。

????????在其他方法中，深度學習框架不僅用于特征提取，還用于重建。例如，基于超分辨率的三層架構，Masi 等人。 [27]提出了一種用于投影、映射和重建的卷積神經網絡來解決全色銳化問題。普拉巴卡爾等人。 [28]提出了一種用于多重曝光融合的無監督深度學習框架。他們利用了一種新穎的 CNN 架構，并設計了一個無參考質量度量作為損失函數。由于權重是綁定的，預融合層被迫學習相同的特征，并且添加這些特征以進行融合。在此基礎上，李等人。 [29]通過引入密集塊改進了架構。在融合層中，顯著特征圖通過兩種手動設計的融合策略（加法和 1-范數）進行組合。類似地，它利用無參考度量（結構相似性指數度量和歐幾里得距離）作為無監督學習的損失函數。在我們之前的工作 [21] 中，我們提出了 FusionGAN 使用生成對抗網絡融合紅外和可見圖像。通過應用鑒別器來區分可見圖像中的差異，生成器生成的融合圖像被迫具有更多可見圖像中存在的細節。當融合不同分辨率的源圖像時，低分辨率紅外圖像在輸入發生器之前會被簡單地插值。

????????盡管上述工作取得了可喜的性能，但現有的基于深度學習的融合方法仍然存在一些缺陷。 (i)現有方法通常在特征提取和重建中執行神經網絡，而融合規則仍然以手動方式設計。由此可見，整個方法無法擺脫傳統融合方法的局限性。（ii）利用深度學習進行紅外和可見光圖像融合的主要障礙是缺乏用于監督學習的真實融合圖像。現有方法通過設計損失函數來懲罰輸出與目標在某些方面的差異來解決這個問題。然而，這些指標會帶來新的問題，同時對某些方面進行懲罰。例如，歐幾里德距離通過對所有可能的輸出進行平均而得到相對模糊的結果[30]。因此，設計一個全面的、適當的、自適應的損失函數來指定一個高層次的目標仍然是困難的。 (iii)大多數人為設計的融合規則導致不同類型的源圖像提取相同的特征，而不管源圖像是不同現象的表現，這不適合多源圖像融合。 (iv)現有的基于GAN的融合方法僅僅應用GAN來迫使融合圖像在可見光圖像中獲得更多細節，而紅外圖像中的熱輻射只能通過內容損失來獲得。隨著對抗游戲的進行，融合圖像與可見圖像更加相似，熱目標的突出度逐漸降低。

????????為了解決這些問題，我們通過應用 GAN 來解決融合問題，并用雙判別器對其進行調整。在此基礎上，我們引入反卷積層來適應不同分辨率的源圖像的融合。此外，為了訓練過程的穩定性，我們優化了網絡架構和訓練策略。

B.生成對抗網絡

????????生成對抗網絡是生成模型之一。如果樣本是從真實分布 Pdata (x) 中抽取的，則生成模型被設計為學習由 θ 參數化的概率分布 Pmodel (x ; θ ) 作為來自樣本 {x 1, x 2, · 的 Pdata (x ) 的估計· · , x m}，其中 Pmodel (x ; θ ) 是高斯混合模型。生成樣本的可能性定義如下：

然后我們可以進行最大似然估計[31]：

????????它可以被認為是最小化 Pdata (x ) 和 Pmodel (x ; θ ) 之間的 Kullback-Liebler 散度。然而，如果Pmodel是一個更復雜的概率分布，那么計算其似然函數來執行最大似然估計將是相當困難的。為了解決這個問題，GAN 通過同時訓練兩個模型來通過對抗過程來估計生成模型：生成模型 G 和判別器模型 D [32]。

????????生成器G是一個可以捕獲數據分布并生成新樣本的網絡。如果我們輸入從潛在空間采樣的噪聲 z，它會生成樣本 x = G (z)。憑借神經網絡，由生成的樣本形成的概率分布PG(x)有可能變得更加復雜。 G的訓練目標是使PG(x)和Pdata(x)盡可能接近，優化公式可以定義為：

其中 Di v(·) 表示兩個分布之間的散度。然而，由于PG和Pdata的公式未知，計算散度很困難。

巧妙的是，判別器 D 可以用來解決這個問題，因為它估計樣本來自訓練數據而不是 G 的概率。D 的目標函數可以表示為：

其中V(G,D)定義如下：

客觀值大意味著PG和Pdata的Jensen-Shannon（JS）散度大，容易區分。因此，G的優化公式可以轉化為：

????????其中判別器D在訓練G時是固定的。G和D的對抗過程構成了最小最大博弈，其中G試圖欺騙D，而D被訓練來區分生成的數據。因此，生成的樣本與實際數據越來越難以區分。

????????如果生成器和判別器都以一些附加信息為條件，則gan可以擴展為條件模型，這些附加信息可以是任何類型的輔助信息。我們可以通過提供額外的信息作為額外的輸入層來執行條件反射，該模型被定義為條件生成對抗網絡[23]。

三．提出的方法

????????在本節中，通過分析紅外和可見光圖像的特征，我們提供了融合公式、損失函數的定義和設計。本節最后具體展示了網絡架構的設計。

?A. 問??題表述

????????我們通過構建雙判別器條件 GAN 將融合問題表述為條件 GAN 模型。為了融合不同分辨率的圖像，不失一般性，我們假設可見光圖像 v 的分辨率是紅外圖像 i 的 4 × 4 倍。

????????我們提出的 DDcGAN 的整個過程如圖 1 所示。給定可見光圖像 v 和紅外圖像 i，我們的最終目標是學習以它們為條件的生成器 G，并鼓勵生成的圖像 G (v, i)現實且信息豐富，足以愚弄歧視者。同時，我們利用兩個對抗性判別器 Dv 和 Di ，它們分別生成一個標量，估計來自真實數據而不是 G 的輸入的概率。具體來說，Dv 旨在區分生成的圖像和可見圖像，而 Di 被訓練為區分原始低分辨率紅外圖像和下采樣生成/融合圖像。這里采用平均池化進行下采樣，因為與最大池化相比，它保留了低頻信息，并且熱輻射信息主要以這種形式呈現。稍微不同的是，為了生成器和判別器之間的平衡，除了判別器的輸入之外，我們不將源圖像 v 和 i 作為附加/條件信息提供給 Dv 和 Di 。也就是說，每個鑒別器的輸入層是包含采樣數據的單通道層，而不是包含采樣數據和相應源圖像作為條件信息的雙通道層。因為當條件和待判別樣本相同時，判別任務被簡化為判斷輸入圖像是否相同，這對于神經網絡來說是一個足夠簡單的任務。當生成器無法欺騙鑒別器時，對抗關系將無法建立，生成器將傾向于隨機生成。如此一來，模型就失去了它原本的意義。

????????我們將下采樣算子表示為 ψ，由于保留了低頻信息，它由兩個平均池化層實現。兩層都總結了 3 × 3 鄰域并使用 2 的步幅。因此，G 的訓練目標可以表示為最小化以下對抗目

????????相反，判別器的目標是最大化方程7。

????????通過生成器 G 和兩個判別器（Dv 和 Di ）的對抗過程，PG 與兩個真實分布 PV 和 PI 之間的散度將同時變小，其中 PG 是生成樣本的概率分布，PV 是可見光圖像和PI的真實分布是紅外圖像的分布。

B. 損失函數

???????? 最初，GAN 的成功受到限制，因為眾所周知，它們訓練不穩定，可能會導致偽影和噪聲或難以理解的結果 [33]。解決偽像和難以理解的結果問題的一個可能的解決方案是引入內容損失以將一組約束包含到網絡中。因此，在本文中，生成器不僅被訓練來欺騙鑒別器，而且還負責約束生成圖像和內容中源圖像之間的相似性。因此，生成器的損失函數由對抗性損失 Ladv G 和內容損失 Lcon 組成，權重 λ 控制權衡：

其中 Ladv G 來自判別器，定義為：

????????由于熱輻射和紋理細節主要分別通過像素強度和梯度變化來表征[17]，因此我們采用Frobenius范數來約束下采樣的融合圖像，使其與紅外圖像具有相似的像素強度作為數據保真度項。通過約束下采樣融合圖像和低分辨率紅外圖像的像素強度關系，我們可以大大防止由于壓縮或模糊而導致的紋理信息丟失以及由于強制上采樣而導致的不準確。根據上述約束，熱目標在融合圖像中仍然突出。 TV范數[34]應用于正則化項，以約束融合圖像表現出與可見圖像相似的梯度變化。與0范數相比，TV范數能夠有效解決非確定性多項式時間難題。通過權重 η 來權衡像素強度的差異和梯度變化，我們可以得到內容損失：

????????DDcGAN 中的判別器，即 Dv 和 Di ，起到區分源圖像和生成的融合圖像的作用。鑒別器的對抗性損失可以計算分布之間的 JS 散度，從而識別強度或紋理信息是否不現實，從而鼓勵匹配現實分布。對抗性損失定義如下：

C. 網絡架構

???????? 1）生成器架構：生成器由 2 個反卷積層、一個編碼器網絡和相應的解碼器網絡組成，如圖 2 所示。由于紅外圖像的分辨率較低，因此我們首先在編碼之前采用映射。我們引入反卷積層[35]來學習從低分辨率到高分辨率的映射，而不是通過最近的雙線性或雙三次方法進行簡單插值。這種映射與傳統的上采樣不同，無需定義上采樣算子，其參數是通過訓練自動獲得的。反卷積層的輸出是高分辨率特征圖，而不是上采樣的紅外圖像。我們還將可見圖像通過獨立的反卷積層，該層生成具有相同分辨率的特征圖。反卷積層獲得的結果被連接并作為編碼器的輸入。特征提取和融合的過程都在編碼器中執行，并生成融合的特征圖作為輸出。然后將這些圖輸入解碼器進行重建，生成的融合圖像與可見圖像具有相同的分辨率。

????????編碼器由5個卷積層組成，每層可以通過3×3濾波器獲得48個特征圖。為了減輕梯度消失、補救特征損失并重用之前計算的特征，應用了 DenseNet [36]，并以前饋方式在每層和所有層之間建立短直接連接。解碼器是一個5層CNN，每層的設置如圖2所示。所有卷積層的步幅設置為1。為了避免梯度爆炸/消失并加速訓練，應用了批量歸一化。 ReLU激活函數用于加速收斂[37]并避免梯度稀疏。

?2）鑒別器架構：鑒別器被設計用來對抗生成器。特別是，Dv 和 Di 旨在分別將生成的圖像與可見光和紅外圖像區分開。然而，這兩類源圖像是不同現象的表現，因而具有顯著不同的分布。換句話說，Dv對G的指導和Di對G的指導存在沖突。在我們的網絡中，我們不僅要考慮生成器和判別器之間的對抗關系，還要考慮Dv和Di的平衡。否則，隨著訓練的進行，一個判別器的強項或弱點最終將導致另一個判別器的低效率。在我們的工作中，平衡是通過網絡架構和訓練策略的設計來實現的（如第 V-A 節所述）。

????????判別器 Dv 和 Di 共享相同的架構，與生成器架構相比，其設置復雜度較低，如圖 3 所示。所有卷積層的步長設置為 2。在最后一層，我們采用 tanh激活函數生成一個標量，該標量從源圖像而不是 G 估計輸入圖像的概率。

四．醫學圖像融合的應用

????????在本節中，我們將提出的方法應用于醫學圖像的融合，如MRI和PET圖像的融合。我們將偽彩色顯示的PET圖像視為彩色圖像，并應用DDcGAN對高分辨率MRI圖像和PET圖像的低分辨率強度分量進行融合。下面，我們首先介紹醫學圖像融合的背景，然后以MRI和PET圖像融合為例，給出一些實現細節。

A.背景

????????多模態醫學圖像具有提供多樣化特征以增強魯棒性和準確性的優點，因此，它們的融合為生物醫學研究和臨床應用（例如醫學診斷、監測和治療）提供了強大的工具[38]， [39]。這些醫學成像可以分為結構系統和功能系統[40]。運動結構方法[41]通常用于獲取自然圖像域中的結構信息。而在醫學成像中，X射線、MRI和計算機斷層掃描是典型的結構系統，可以提供高分辨率的結構和解剖信息。功能系統可以提供功能和代謝信息，例如PET和單光子發射計算機斷層掃描，但這些圖像往往分辨率較低。有限的分辨率限制了它們的臨床應用，并鼓勵功能和解剖圖像的融合。

????????根據所應用的理論，現有的醫學融合方法可以歸納為不同的類別，例如替換方法[40]、[42]、算術組合方法[43]和多分辨率方法[44]、[45]。在本文中，我們以 MRI 和 PET 圖像融合為例，應用我們的 DDcGAN 來解決這個問題。 MRI 圖像在以高空間分辨率捕獲大腦、心臟和肺等器官中軟組織結構的細節方面具有優勢。

????????PET 圖像通過核醫學成像獲得，以提供功能和代謝信息，例如血流和洪水活動。捕獲的圖像通常色彩豐富但空間分辨率較低。因此，通過融合這兩類醫學圖像，結果將包含源圖像中的空間和光譜特征，以進行定性檢測和定量確定。傳統上將偽彩色PET圖像視為彩色圖像，顏色是功能信息的表示，如圖4（a）所示。為了保留它，融合圖像的顏色應盡可能與 PET 圖像的顏色相似。為此，使用去相關顏色模型將顏色中的消色差和彩色信息分離到不同的通道中。然后，消色差通道被 MRI 圖像替代或融合 [46]。在我們的工作中，我們采用強度、色調和飽和度（IHS）去相關顏色模型，強度通道是要融合的特定消色差通道，如圖4（b）所示。由于另外兩個通道是色彩信息的表示，在融合過程中應保持不變，因此PET圖像與紅外圖像類似，都是用強度分布來表示特征信息。稍微不同的一點是，PET圖像用它來表示功能信息，而紅外圖像是熱輻射的反射。相比之下，MRI圖像可以以紋理的形式提供詳細的形態學信息。它的主要特征是梯度。因此，與可見圖像一樣，可以利用MRI圖像中紋理信息豐富的優勢來克服PET圖像上軟組織結構輪廓的不確定性。從這個角度來看，MRI和PET圖像的融合與可見光和紅外圖像的融合在本質上有很大的相似性。如圖4所示，融合后的圖像應該同時最小化由MRI（圖4(c)）和強度通道（圖4(d)）之間的空間細節損失引起的空間畸變，以及由PET（圖4(b)）和融合后的強度通道（圖4(d)）之間的色差引起的光譜畸變。再加上經過處理的H和S通道分量，最終融合后的圖像為三通道圖像，具有豐富的色彩和細節信息，如圖4(e)所示。

B.通過DDcGAN進行MRI和PET圖像融合

????????統一地，我們假設MRI圖像的分辨率是PET圖像強度分量的4×4倍，并以此為例。整個融合過程如圖5所示。首先將具有RGB通道的多光譜輸入PET圖像轉換為IHS通道，如式(1)所示。 (13) 強度通道顯示光譜的亮度，色調通道顯示光譜波長的特性，飽和度通道顯示光譜的純度：

????????融合過程是在PET圖像和MRI圖像的I通道分量上產生的。相應地，生成器的輸入是低分辨率IPET和高分辨率MRI圖像M。生成器的輸出Ifuse = G(M,IPET)是高分辨率融合圖像的新I通道。在訓練過程中，訓練判別器 Di 來區分 Ifuse 和 IPET 之間的差異，而輸入圖像來自 MRI 圖像而不是 G 的概率由判別器 Dv 獲得。因此，生成器的具體損失函數可以表示為：

其中對抗性損失函數 Ladv G 定義為：

????????為了保留PET圖像中的彩色信息，PET圖像和融合圖像的H、S通道分量應盡可能相同。對于這兩個通道，我們直接采用雙三次插值作為上采樣操作。上采樣分量分別表示為Hnew和snnew，分辨率均為HPET和SPET的4 × 4倍。由Eq.（14）和Eq.（15）可知，變量V1和V2可以通過H和S通道的分量更新：

五、實驗結果

????????在本節中，為了驗證我們的 DDcGAN 的有效性，我們首先通過紅外和可見光圖像融合以及 PET 和 MRI 圖像融合的定性比較，將其與公開數據集上的幾種最先進的方法進行比較。為了進行定量比較，我們利用六個指標來評估融合結果。還進行了判別器分析實驗。 ?

A. 數據集和訓練細節

???????? 1) 數據集：我們在公開的 TNO 人為因素數據集1上驗證了所提出的 DDcGAN，用于紅外和可見光圖像融合。我們從數據集中選擇 36 個紅外和可見光圖像對，并將它們裁剪成 27、264 個 84 × 84 像素的塊對。由于我們專注于融合不同分辨率的圖像，而數據集中的源圖像具有相同的分辨率，因此我們將紅外圖像下采樣到四分之一分辨率。因此，所有可見圖像塊的大小為 84 × 84，所有紅外圖像塊的大小為 21 × 21。我們模型中的參數設置為 λ = 0.5 和 η = 1.2。整個網絡以 2 × 10?3 的學習率進行訓練，并在每個時期后以指數方式衰減到原始值的 0.75。批量大小設置為 24。

????????我們提出的 DDcGAN 在 MRI 和 PET 圖像融合中的應用在公開的哈佛醫學院網站上得到了驗證。2 原始 PET 和 MRI 圖像的大小均為 256 × 256。為了驗證我們的方法融合不同分辨率圖像的有效性，將 PET 圖像的每個通道下采樣到 64×64 的大小。下載 83 個 PET 和 MRI 對并裁剪成 9, 984 個補丁對作為我們的訓練集。同樣，所有MRI斑塊的大小為84×84，所有PET圖像的強度斑塊的大小為21×21。參數、學習率和批量大小與紅外和可見光融合中設置的相同。

????????2）訓練細節：訓練過程中，原則是讓生成器和判別器形成對抗關系。為了克服訓練 GAN 時的一些問題，提高訓練效果，原則上不是每批次輪流訓練一次 G、Dv 和 Di，而是在 Dv 或 Di 無法區分 G 和 G 的情況下多次訓練 Dv 或 Di，反之亦然。詳細的訓練過程如Alg所示。 1、除了Lmax、Lmin、LGmax之外，還額外設置了迭代次數的閾值。原因是多次更新生成器或判別器的目的是保持它們之間的平衡。然而，仍然存在這些網絡經過多次訓練但仍然無法達到平衡條件的情況。特別是對于生成器來說，更多的訓練步驟來最小化對抗性損失可能會導致更高的內容損失和更高的 LG ，無法達到平衡條件。這樣就可以避免算法陷入死循環。而且，及時更新其他網絡，將使它們對現有網絡發揮新的引導作用，從而有可能避免上述情況的發生。

????????在測試階段，我們僅使用經過訓練的生成器來生成融合圖像。由于我們的生成器中沒有完全連接的層，因此輸入源圖像可以是具有預定義分辨率的任何大小。 ?

B. 紅外和可見光圖像融合的結果和分析

????????為了驗證我們提出的 DDcGAN 的有效性，我們將其與七種最先進的圖像融合方法進行比較，包括方向離散余弦變換和主成分分析（DDCTPCA）[14 ]、混合多尺度分解（HMSD）[47]、四階偏微分方程（FPDE）[48]、梯度傳遞融合（GTF）[17]、不同分辨率總變分（DRTV）[49]、DenseFuse [29] 和 FusionGAN [21]。由于一些競爭對手要求源圖像共享相同的分辨率，因此我們在執行這些融合方法之前對低分辨率紅外圖像進行上采樣。而在DRTV和FusionGAN中，由于它們可以應用于融合不同分辨率的圖像，因此不需要對低分辨率紅外圖像進行上采樣的預處理。所有方法的融合結果均經過主觀和客觀評估。 ?

1）定性比較：我們首先報告了六個典型圖像對的一些直觀結果，如圖6所示。與現有的融合方法相比，我們的DDcGAN具有三個獨特的優勢。首先，我們的結果可以保持紅外圖像的高對比度特性，例如，熱目標在我們的融合圖像中很突出，如第一和第二個示例所示，這對于后續的目標檢測任務非常重要。其次，我們的結果可以保留可見圖像中豐富的紋理細節，例如，融合圖像中的背景包含更多細節信息，如第三到第五示例所示，這有利于準確的目標識別。第三，我們的結果更加清晰，因為它不會受到低分辨率紅外圖像上采樣導致的熱輻射信息模糊的影響，如第六個示例所示。

????????從圖6可以看出，DDCTPCA、HMSD、FPDE和DenseFuse不能很好地突出熱目標，而GTF、DRTV和fusongan不能獲得豐富的紋理細節。此外，除DRTV和fusionongan外，它們都存在熱輻射信息模糊的問題。雖然DRTV在融合不同分辨率的源圖像時可以避免因上采樣而造成的紋理信息丟失，但由于一階TV的應用，DRTV的融合結果不可避免地會出現階梯效應。相比之下，DDcGAN的結果可以明顯避免樓梯效應，我們的結果中的細節更接近于可見圖像。與fusion - an相比，由于采用了反卷積層，引入了判別器Di，采用了不同的網絡結構，改進了訓練策略，融合結果能夠以更高的對比度更明顯地突出熱目標，同時包含了更多與可見圖像更難以區分的自然細節。排除反卷積層、不同網絡架構和訓練策略的影響，附加鑒別器的影響將在稍后的V-B.3節中分析。總的來說，我們的DDcGAN效果很好，融合后的圖像更接近于超分辨紅外圖像，同時也包含了可見光圖像中豐富的紋理細節信息。

2)定量比較：我們進一步報告了我們的DDcGAN和競爭對手在數據集中剩下的15對圖像上的定量比較。采用熵（EN）[50]、平均梯度（MG）、空間頻率（SF）、標準差（SD）[51]、峰值信噪比（PSNR）、相關系數（CC）、結構相似指數（SSIM）[52]、視覺信息保真度（VIF）[53]等8個指標進行評價。

? 熵（EN）：該指標可以從信息論的角度衡量融合圖像中包含的信息量，定義如下：

其中 pl 表示融合圖像中相應灰度級的歸一化直方圖。并將所有灰度級的數量設置為L。熵越大，意味著圖像中保留了更多的信息，該方法取得了更好的性能。

? 平均梯度 (MG)：MG 在數學上定義為：

MG越大，圖像包含的梯度信息越多，算法的融合性能越好。

? 空間頻率（SF）：SF基于梯度分布，有效揭示細節和紋理的圖像。它由空間行頻率 (RF) 和列頻率 (CF) 定義：

? 標準偏差(SD)：SD 是反映對比度和分布的指標。人的注意力更容易被對比度高的區域吸引。因此，SD越大，融合圖像的視覺效果越好。在數學上，SD 定義為：

?峰值信噪比（PSNR）：PSNR是通過峰值功率與噪聲功率的比值反映失真度的指標：

? 相關系數(CC)：CC 度量衡量源圖像與融合圖像之間的線性相關程度。它在數學上定義為：

? 結構相似性指數度量(SSIM)：SSIM 是廣泛使用的度量標準，它根據兩幅圖像在光線、對比度和結構信息方面的相似性對它們之間的損失和失真進行建模。從數學上講，圖像 x 和 y 之間的 SSIM 可以定義如下：

? 視覺信息保真度(VIF)：該指標與人類視覺系統一致，衡量信息保真度。它可以通過四個步驟來計算：（a）對源圖像和融合圖像進行過濾并將其劃分為不同的塊； (b)評估每個塊的視覺信息； (c) 計算每個子帶的VIF； (d) 計算總體指標。 VIF大表明融合方法具有良好的性能。 ?

????????定量比較的結果如圖 7 所示。從統計結果可以看出，我們的 DDcGAN 可以在前 4 個指標上生成最大平均值：EN、MG、SF 和 SD。特別是，我們的 DDcGAN 分別在 13、13、10 和 8 個圖像對上實現了 EN、MG、SF 和 SD 的最佳值。對于度量 PSNR 和 CC，我們的 DDcGAN 可以達到可比較的結果，平均值是第二大的。這些指標僅以微弱差距落后于 FPDE 和 FusionGAN。至于VIF和SSIM，我們的結果分別是第三和第四。結果表明，該方法可以最大程度地保留信息，特別是保留最多的梯度信息、最豐富的邊緣和紋理細節以及最高的對比度，如前四個指標所示。此外，我們的方法的結果可以達到與源圖像相當的相似度。

????????表1提供了不同方法在測試數據上的平均運行時間。所有方法均在具有3.4 GHz Intel Core i5 CPU的臺式機上進行測試。由于存在三種基于深度學習的方法（即 DenseFuse、FusionGAN 和 DDcGAN），因此這些方法也在 NVIDIA Geforce GTX Titan X 上進行了測試。DDcGAN 的運行時間較慢的原因是在測試階段，輸入我們的模型是整個圖像。因此，對于每個測試圖像對，我們的模型根據其大小進行重建，并將訓練模型的參數恢復到重建模型中，以避免將測試圖像裁剪成補丁可能導致的接縫效應以及調整圖像大小導致的失真。另一個原因是我們的模型比其他基于深度學習的方法更深，從而導致更多的測試運行時間。

?????????3）判別器分析：我們提出的模型中有兩個判別器，即 Dv 和 Di 。為了說明每個判別器的效果，我們進行了四個比較實驗：（a）整個網絡僅由生成器G組成，并且最終的訓練目標被減少以最小化等式（1）中的Lcon。（10）。 (b) 不使用 Di ，僅在 G 和 Dv 之間存在對抗關系。 (c) Dv 并未被整個網絡所接受。由此，G和Di之間建立了對抗博弈。 (d) 融合圖像是通過本文提出的方法生成的。所有 G、Dv 和 Di 在網絡中都發揮作用。所有對比實驗均在相同的實驗設置下進行，融合結果如圖8所示。

????????在方法(a)中，訓練目標是最小化內容損失Lcon，其本質上是一階電視模型。該模型在保留分段恒定圖像中對象的邊緣方面表現良好，但不可避免地會產生階梯效應[54]，如圖8（a）所示。隨著 Dv 的引入，圖 8(b) 中的階梯效應得到了緩解。然而，其缺點是融合圖像的強度分布根據可見圖像的強度分布進行修改，導致熱目標的突出度降低。單獨引入 Di 增加了熱目標和背景之間的對比度，這在圖 8(a) 和圖 8(c) 所示結果之間的掩體突出中尤為明顯。然而，與方法(b)相比，方法(c)的結果缺乏詳細信息。

????????綜合考慮方法(b)和(c)的優缺點，我們提出了一種基于對偶鑒別器條件生成對抗網絡的新結構：Dv和Di。使用Di可以糾正方法(b)的結果與紅外圖像之間強度分布的明顯差異。同時，通過引入Dv，可以在方法(c)的結果中添加更多的細節和紋理信息。值得注意的是，由于判別器從單純的Dv或Di增加到兩者都增加，對生成器的要求和訓練目標變得更加苛刻。在Dv和Di的識別任務之間存在矛盾關系的情況下，根據圖1中的訓練策略，在G、Dv或Di中的任何一個失去其特定功能時，可以調整其訓練，進一步提高發電機的生成能力。在熱目標仍然突出的前提下，與圖8(b)和(c)相比，方法(d)的結果包含了更多的細節，通過有效地解決樓梯效應問題，這些細節看起來更接近可見光圖像。

????????4）生成器分析：生成器G的損失函數中有兩個子項，即對抗性損失Ladv G和內容損失Lcon。為了驗證每個子項的效果，進行了三個對比實驗：（a）LG = λLcon。該對比實驗與第2節中的方法(a)相同。 V-B.3。 G 被訓練以最小化方程中的 Lcon。（10）。 (b) LG = Ladv G 。 LG并未引入內容丟失。那么G只是被訓練來愚弄Dv和Di。需要注意的是，在該方法中，由于缺乏逐像素約束，引入了反卷積層數可能會導致空腔效應。因此，我們用兩個上采樣層替換這些層以避免這種影響。 (c) LG = Ladv G + λLcon。這是建議的方法。在相同的實驗設置下，這三種方法的融合結果如圖9所示。

????????一方面，在沒有對抗性損失的情況下，融合結果無法在可見圖像中展現更多、更清晰的紋理細節，如圖9(a)所示。另一方面，在沒有內容丟失的情況下，生成器無法知道應從源圖像中保留哪種類型的信息。在沒有像素級約束的情況下，生成器可以做的就是使生成圖像的概率分布接近源圖像的概率分布。在這種情況下，融合圖像可能具有高對比度和紋理細節。然而，突出顯示的區域可能不是紅外圖像中的熱目標，并且紋理細節可能與可見光圖像不同，如圖9（b）所示。因此，當 DDcGAN 在沒有內容丟失的情況下進行訓練時，它將產生偽影和難以理解的結果。通過結合這兩個子項，DDcGAN 可以解決這個問題并生成高質量的融合圖像，如圖 9(c) 所示。

?C. MRI 和 PET 圖像融合的結果

????????根據相應的方案，我們分別基于主成分分析方法（如 DDCTPCA [14]）、稀疏表示方法（如自適應稀疏表示（ASR）[56]）將我們的方法與其他六種融合方法進行比較。 ]、小波變換方法，如離散余弦諧波小波變換（DCHWT）[55]、顯著性方法，如 Structure-Aware [57] 和基于深度學習的方法，如 FusionGAN [21]和 RCGAN [58]。其中，PCA是應用于PET和MRI圖像融合的經典理論。基于 PCA 并作為第 2 節中使用的紅外和可見光圖像融合比較方法的代表。這里再次采用V-B、DDCTPCA進行比較。 ASR可以應用于多模態圖像融合，同時進行融合和去噪。 DCHWT考慮了多光譜圖像融合的融合。 Structure-Aware 是一種專門針對多模態醫學圖像融合提出的方法。 FusionGAN和RCGAN是基于GAN的方法，也是紅外和可見光圖像融合方法的代表。

????????在本節的其余部分中，進行定性和定量實驗來證明我們的方法在 PET 和 MRI 圖像融合方面的有效性。

?????????1）定性比較：圖10展示了大腦半球四個不同橫斷面的四個典型且直觀的結果。相比之下，DCHWT、Structure-Aware和RCGAN顯著降低了PET 圖像中的顏色強度，導致功能信息丟失。相比之下，DDCTPCA、ASR、FusionGAN 和 DDcGAN 生成的結果表現出更明亮、更強的顏色。在這四種方法中，我們結果的顏色與原始 PET 圖像的顏色最接近。此外，由于低分辨率PET圖像的去采樣，六種比較方法的結果都存在功能信息模糊，表現為顏色信息模糊（如第一組和第二組結果所示）和細節模糊，這可以可見第三組結果。就MRI圖像保留的紋理信息而言，DDCTPCA和FusionGAN的結果表現出最明顯的模糊性。而且，由于ASR同時進行融合和去噪，MRI圖像中的雜質在融合圖像中被消除。然而，一些圖像細節同時變得模糊。與 DCHWT、Structure-Aware 和 RCGAN 相比，我們結果中的細節避免了模糊以及由于顏色較深而導致的識別困難，這可以在第四組中看到。

????????2）定量比較：這里進行了8個性能指標的實驗，20個測試圖像對的定量比較結果如圖11所示。20個測試圖像對是大腦半球的不同橫斷面。對于前五個指標：EN、MG、SF、SD 和 PSNR，我們提出的方法可以實現最大平均值，所有 20 個測試對中分別有 19、19、10、14 和 20 個表現最佳。至于指標 CC 和 VIF，我們的方法也顯示了可比的結果，產生了第二大平均值，其平均值僅分別落后于 DDCTPCA 和 FusionGAN 的平均值。至于SSIM，我們的方法生成第五大平均值，原因是我們的方法旨在保留MRI圖像中的梯度變化，而不管像素強度如何，導致融合強度通道和MRI之間的SSIM值很小圖像。因此，從統計結果可以得出結論，對于PET和MRI圖像融合，我們的方法通過保留紋理信息（即形態信息）和顏色信息（即功能和代謝信息）來獲得相對滿意的結果。很大程度同時。

????????表 II 還報告了 6 種方法在 20 個測試圖像對上的平均運行時間。

六．結論

????????在本文中，我們通過構建雙判別器條件 GAN 提出了一種新的基于深度學習的紅外和可見光圖像融合方法，稱為 DDcGAN。它不需要真實的融合圖像進行訓練，并且可以融合不同分辨率的圖像，而不會引入熱輻射信息模糊或可見紋理細節損失。對六個指標與其他七種最先進的融合算法的廣泛比較表明，我們的 DDcGAN 不僅可以識別最有價值的信息，而且可以保留源圖像中最大或近似最大的信息量。此外，我們提出的DDcGAN應用于PET和MRI圖像的融合，與五種最先進的算法相比，它還可以實現先進的性能。