一、背景介紹
????????本篇主要是對圖像畫質增強相關,進行簡單整理和記錄。
二、整體流程
????????整體效果主要受到兩部分影響:
????????????????1、前端isp處理。
????????????????2、后端畫質增強。
三、isp常規流程
????????可以參考:劉斯寧:Understanding ISP Pipeline
四、后端畫質增強
????????通常來說,我這里意義上的,畫質增強本質上更偏主觀性質,主要作用上,是讓圖像更加符合人眼感官:比如噪聲更小,紋理信息更多,圖像內容更豐富,圖像顏色/影調質感更舒服。
????????通過對單幀輸入圖像、相同攝像頭多幀圖像,不同攝像頭輸入圖像,不同ev圖像進行算法處理,進而得到畫質更佳,更符合人眼感官的結果圖像。
????????常見的算法,比如多幀去噪,hdr,超分,全景拼接等,基本都屬于此類。
五、后續
????????對畫質增強算法,根據基本模塊分解,通常會有很多共性地方,如下圖所示,基本的多幀去噪和hdr基本算法流程:
????????通過分析可以看到,多幀去噪和hdr共用了很多相同算子,這些算子為了實現不同功能,內部實現可能各有差別,但本質原理屬于同一類。????????
????????根據這種脈絡,我們似乎可以將畫質類算法,可能使用到的各類算子整合到算法池中,可以升級一個算子實現多個畫質算法的效果提升,也可以對輸入圖像和算子流程調整,進而實現新的畫質算法。
????????通常來說,常用的畫質內算子,通常包括如下這些:
????????本篇后續主要就是對畫質相關isp和后端算法使用的各類算子的學習,以及對算子排列組合,進行各種畫質增強效果的整理記錄。