一、什么是圖像超分辨
? ? ? ? 圖像超分辨是一種技術,旨在通過硬件或軟件的方法提高原有圖像的分辨率。這一過程涉及從一系列低分辨率的圖像中獲取一幅高分辨率的圖像,實現了時間分辨率向空間分辨率的轉換。超分辨率重建的核心思想是利用多幀圖像序列的時間帶寬來換取空間分辨率的提升。這項技術在多個電子圖像應用領域中具有重要意義,如醫療圖像、衛星圖像和計算機視覺中的模式識別等,其中高分辨率圖像能夠提供更多的細節,對于做出正確的診斷或提高識別性能至關重要。12
圖像超分辨率重建的方法可以分為幾種主要類型:
- 基于插值的方法:這些方法實現簡單,廣泛應用于圖像處理,但線性模型的限制使得它們在恢復高頻細節方面的能力有限。
- 基于稀疏表示的技術:這類技術通過使用先驗知識增強了線性模型的能力,假設自然圖像可以被字典的元素稀疏表示,從而學習到低分辨率圖像到高分辨率圖像的映射。
- 基于深度學習的方法:特別是卷積神經網絡(CNN)的應用,如SRCNN模型,通過使用多層網絡結構,實現了先進的結果。隨后,各種基于深度學習的模型進入超分辨率圖像重建領域,追求細節的恢復或降低感知損失為目標。
此外,圖像超分辨率重建還包括其他技術,如基于重建的方法和基于學習的方法。基于重建的方法基于均衡及非均衡采樣定理,假設低分辨率的輸入采樣信號能預估出原始的高分辨率信號。而基于學習的方法則是近年來研究的熱點,利用大量的高分辨率圖像構造學習庫,產生學習模型,以獲得圖像的高頻細節和較好的圖像恢復效果。
詳細的評價準則和重建方法詳見下面的鏈接:
圖像超分辨率重建相關概念、評價指標、數據集、模型_super-resolution-CSDN博客
二、基于飛槳框架的超分辨重建
https://github.com/PaddlePaddle/PaddleHub/blob/develop/README_ch.md
超分辨率實現的流程,參考以下鏈接:
4倍超分辨率
飛槳PaddlePaddle-源于產業實踐的開源深度學習平臺
2倍超分辨率
飛槳PaddlePaddle-源于產業實踐的開源深度學習平臺
2.1 環境搭建及運行
## 默認安裝CPU版本或者GPU版本,安裝paddle時建議使用百度源
pip install paddlepaddle -i https://mirror.baidu.com/pypi/simple
# 在命令行中輸入以下命令
pip install paddlehub -i https://mirror.baidu.com/pypi/simple#2倍率增強
import cv2
import paddlehub as hub# #2倍倍率
sr_model = hub.Module(name='dcscn')
im = cv2.imread('C:/Users/kongxiangnan/Desktop/test/new10.bmp').astype('float32')
#visualization=True可以用于查看超分圖片效果,可設置為False提升運行速度。
res = sr_model.reconstruct(images=[im], visualization=True,output_dir='C:/Users/kongxiangnan/Desktop/test/result/')
print(res[0]['data'])
?二、?RealESRGAN
論文地址:http://arxiv.org/abs/1609.04802
項目地址:https://github.com/xinntao/Real-ESRGAN
Real-ESRGAN將強大的ESRGAN擴展到一個實際的恢復應用程序,它是用純合成數據進行訓練的。具體地說,引入了一種高階退化建模過程來更好地模擬復雜的真實世界的退化。還考慮了合成過程中常見的振鈴和超調偽影。此外,采用了具有譜歸一化的U-Net鑒別器來提高鑒別器能力,穩定訓練動力學。廣泛的比較表明,它的視覺性能比以前的各種真實數據集的工作。
2.1 Windows環境下快速測試運行?
模型下載地址:
https://github.com/xinntao/Real-ESRGAN/releases/download/v0.1.0/RealESRGAN_x4plus.pth
可執行文件下載地址:
2.2 環境搭建及源碼運行
環境搭建:
python -m pip install tb-nightly -i https://mirrors.aliyun.com/pypi/simple
pip install basicsr==1.4.2 -i https://mirrors.aliyun.com/pypi/simple
模型下載
https://github.com/xinntao/Real-ESRGAN/releases/download/v0.1.0/RealESRGAN_x4plus.pth運行命令:python ..Real-ESRGAN-master.inference_realesrgan.py -n RealESRGAN_x4plus -i segmentnew10.bmp
三、2020 PISR
項目地址:https://github.com/cvlab-yonsei/PISR?tab=readme-ov-file
3.1 環境要求?
- Python 3.6
- PyTorch >= 1.1.0
- torch >= 1.1
numpy
matplotlib
scikit-image
opencv-python
tensorboardX
easydict
3.2 環境搭建及運行
該工程的模型已經失效。需要根據項目網頁下載作者的訓練的數據集,然后進行訓練,使用得到的模型進行訓練
?