該文章是2023年論文RPG-Palm的升級版
論文：PCE-Palm: Palm Crease Energy Based Two-Stage Realistic Pseudo-Palmprint Generation
作者：Jin, Jianlong and Shen, Lei and Zhang, Ruixin and Zhao, Chenglong and Jin, Ge and Zhang, Jingyun and Ding, Shouhong and Zhao, Yang and Jia, Wei
出版刊物：Proceedings of the AAAI Conference on Artificial Intelligence
代碼：https://github.com/Ukuer/PCE-Palm

---

---

1、算法概述

騰訊優圖的掌紋生成文章，從2022年的BézierPalm，到2023年的RPG-Palm，到今年2024年的PCE-Palm，該文章是將RPG-Palm中從Bézier曲線一步到位生成掌紋圖片拆分成了兩步進行，新增了中間一步叫做PCE圖像，減小了一步到位生成掌紋圖像的難度。

---

2、背景知識

因為該論文是基于RPG-Palm進行改進升級的，所以有必要了解一下RPG-Palm算法的訓練和推理步驟，詳細論文解讀見博文掌紋生成網絡RPG-Palm論文解讀，RPG-Palm算法框架如下圖所示：

圖(a)是訓練階段，圖(b)是推理階段；
生成器G結構類似于常見的圖像生成器結構UNet，為了生成多樣化的結果，引入了條件自適應實例規范化模塊(CAdaIN)，對每個Down-Block和Up-Block生成的細節進行調制。D是判別器，而編碼器E用于將掌紋圖像進行編碼，論文中了Resnet結構，為了保證生成的id類內一致，作者添加了ID-aware Loss。
推理階段，可以看到，是一步到位的，即直接從Bézier圖像經過生成器G生成了“偽”掌紋圖像。

---

3、算法細節

PCE-Palm掌紋生成算法基于RPG-Palm算法將推理步驟拆分成兩個階段，中間插入了生成PCE圖像( palm crease energy)，下圖是兩者的區別：

可以看到，從Bézier曲線圖到掌紋圖像之間有著巨大差距，而RPG-Palm算法試圖一步到位生成(上面的箭頭)，而本文的PCE-Palm算法分兩步，首先從Bézier曲線圖生成手掌折痕圖，第二步再加入皮膚紋理(下面的箭頭)。

3.1 Transfer from Bézier Palm to PCE Domain

在第一階段，生成器G_B->P將隨機采樣的Bézier曲線轉換為PCE圖像。第一階段主要的網絡就是生成器G_B->P，為了模擬高斯MFRAT
濾波器(Jia,Huang,andZhang2008)的效果，作者提出了線特征增強模塊( line feature enhancement block, LFEB)用于增強生成器G_B->P對線路能量特性的關注能力。第一階段及生成器G_B->P以及線特征增強模塊LFEB的結構如下：

PCEM模塊用于從真實掌紋圖像中提取PCE圖像，它的結構如下：

---

3.2 Generate Realistic Palmprint from PCE Domain

第二階段是利用PCE圖像生成逼真的掌紋圖像，其訓練生成器G_P->R的框圖如下：

其中，生成器G_P->R和編碼器E依然和RPG-Palm一樣，均是采用Unet和Resnet結構，PCEM模塊同第一階段一樣，用于從掌紋圖像中提取PCE圖像信息。

與RPG-Palm不一樣的是，對于確認生成的掌紋與真實像不像這里的損失，RPG-Palm用是的Lid損失函數加L1和判別器D的損失，Lid損失函數是計算兩張圖片特征的余弦相似度大小；而本論文是用的循環ID一致性損失L_cyc加L1和判別器D的損失，這個循環ID一致性損失L_cyc說白了也是L1損失，只是計算的兩張圖片是PCE圖像，一個是由真實掌紋圖而來，一個是由生成的掌紋圖而來，它是基于這個假設，生成的掌紋圖越像真實掌紋圖，那么兩者的PCE圖應該也非常像。

循環ID一致性損失L_cyc公式如下：

生成器G_P->R的損失函數以及第二階段整個損失函數的公式如下：

---

3.3 推理階段

推理階段就沒那么復雜了，直接利用上面兩節訓練好的生成器G_B->P和生成器G_P->R進行生成就行，首先用隨機抽樣的控制點生成Bézier曲線。然后，使用生成器G_B→P將Bézier曲線轉換到PCE域。之后，用訓練好的生成器G_P→R可以以PCE圖像作為ID條件生成逼真的掌紋。為了生成多樣化的掌紋，將隨機噪聲向量輸入到G_P→R中作為潛在的控制向量，以再現各種光線和皮膚紋理。如下面框圖所示：

同時，作者為了最大限度地減少了生成掌紋和真實掌紋之間的差距。還根據皮膚紋理學方面的知識，設計了Bézier曲線的5個模板，生成Bézier曲線均基于這些模板，如下圖所示：

---

4、實驗

開放集掌紋識別對比情況如下表所示：

限制id數量下掌紋識別對比情況如下：

在開放集協議下，采用不同的生成方法進行定量識別的對比情況如下：

消融實驗

線特征增強模塊LFEB提升掌紋中線的特征提取能力，可視化結果如下：

可以看到，掌紋圖像經過LFEB模塊后，線特征得到了強化，有點圖像銳化的效果，對于后續生成PCE圖像有幫助。