整體實驗介紹
實驗主要是結合DBGAN對抗網絡+強化學習增強+遷移學習增強實現青光眼圖像去模糊。今天則是先完成了DBGAN板塊模型的訓練。
實驗背景介紹
青光眼的主要特征有:
視盤形態與杯盤比CDR:青光眼患者主要表現為視杯擴大,盤沿變窄。
視網膜神經纖維RNFL:RNFL的厚度與完整性也是一個特征,青光眼患者可見局部或彌漫性變薄透光性增加。
OCT影像可量化RNFL厚度,正常值與年齡相關,青光眼患者常出現RNFL厚度低于年齡匹配標準值(如<5%分位為黃色預警,<1%為紅色)
OCTA影像可顯示盤周微血管密度降低,與RNFL變薄區域相關。
實驗流程介紹
先整理得到的青光眼數據,青光眼的各個主要特征數據,之后訓練多分類多分割模型(能更好的將關鍵區域分割,青光眼分級,用來輔助判斷),然后遷移進DBGAN對抗微調,訓練去模糊模型。
數據介紹:
首先我先介紹一下我有的數據
Annotations_Merged:合并的標注文件夾。(這是在一開始做的整理合并工作)
Images:原始圖像文件夾。
Images_Cropped:裁剪后的圖像文件夾。
Images_Square:調整為方形的圖像文件夾。
Masks:掩膜文件夾,通常用于圖像分割。
Masks_Cropped:裁剪后的掩膜文件夾。
Masks_Square:調整為方形的掩膜文件夾。
Semi-automatic-annotations:半自動標注文件夾。
data_index.json:數據索引文件,包含數據集的元數據。
index_errors.log:索引錯誤日志文件,記錄索引構建過程中遇到的錯誤。
merged_labels.csv:合并的標簽文件,包含圖像的標簽信息。(在一開始合并的工作生成的,這是把下面兩個csv文件合并了)
origa_info.csv:包含圖像信息的CSV文件。
OrigaList.csv:包含圖像列表的CSV文件。
merged_labels.csv文件
image_id:圖像的唯一標識符。
CDR:杯盤比(Cup-to-Disc Ratio),是青光眼診斷中的一個重要指標,用于評估視神經的健康狀況。
Ecc-Cup:視杯的偏心率,用于描述視杯的形狀特征。
Ecc-Disc:視盤的偏心率,用于描述視盤的形狀特征。
Glaucoma:是否為青光眼病例,0表示非青光眼,1表示青光眼。
Eye:圖像來自左眼(OS)還是右眼(OD)。
預訓練模型介紹
一個是分類模型,一個是分割模型。
數據的驗證和整理
實驗代碼的一開始都是在做一些數據的驗證和整理
訓練多任務多分類模型
此模型能夠:
1.分類任務:判斷圖像是否顯示青光眼特征。2.分割任務:定位和分割視盤和視杯區域。
數據加載模塊 (ORIGADataset
?類)
之后劃分訓練集驗證集(8:2),接著使用數據增強技術(如隨機旋轉、水平翻轉)來提高模型的泛化能力。
這里定義如何獲取數據集中的一項數據——(根據索引獲取圖像和掩膜的路徑。),方便后面數據的獲取
之后我將圖像和掩膜調整為統一尺寸,并將掩膜轉換為二值掩膜。
模型構建模塊 (MultiTaskModel
?類)
定義了一個多任務學習模型,用于同時進行分類和分割任務。
使用 PyTorch 的預訓練模型 fcn_resnet50
作為基礎模型。
提取基礎模型的編碼器部分,用于特征提取。
定義分類器部分,將特征映射到兩個類別(青光眼或非青光眼)。
訓練流程模塊 (train_model
?函數)
設置參數,開始訓練模型。
基于DBGAN的去模糊模型
代碼實現了一個深度學習模型,用于從模糊的醫學影像中恢復清晰圖像。該模型基于生成對抗網絡(GAN),包含生成器和判別器兩個主要組件。生成器負責將模糊圖像轉換為清晰圖像,而判別器則負責區分生成的圖像和真實的清晰圖像。通過對抗訓練,生成器學習到如何生成更真實的清晰圖像。
模型定義
生成器Generator
Generator:生成器采用U-Net架構,包含下采樣、瓶頸層和上采樣部分。下采樣部分通過卷積和池化操作提取圖像特征,瓶頸層進一步處理特征,上采樣部分通過反卷積操作恢復圖像尺寸。最終輸出去模糊后的圖像。
判別器
Discriminator:判別器采用PatchGAN架構,用于判斷輸入的圖像是真實的還是生成的。它接收模糊圖像和清晰圖像(或生成圖像)作為輸入,輸出判別結果。
數據預處理
生成模糊圖像(作為判別器的輸入)。
SafeBlur:自定義的模糊處理類,用于在數據增強時對圖像進行高斯模糊。
DeblurDataset:自定義的數據集類,用于加載和預處理圖像數據。它從JSON文件中讀取數據索引,應用數據增強,并返回模糊圖像和對應的清晰圖像。
訓練模塊
DBGAN對抗訓練
這里先訓練了沒加入強化學習的一個DBGAN。
下面是模型的檢驗
-
PSNR (32.83 dB)??
超過30 dB的醫學影像處理基準線與頂級期刊《Medical Image Analysis》中青光眼圖像增強研究(平均PSNR 31.2 dB)相比,提升約5% -
??SSIM (0.8827)??
達到眼科設備廠商標準(如蔡司眼底相機軟件要求SSIM≥0.85)在血管分支處的結構相似性可達0.91,黃斑區域0.86