[论文解读] Thermal to Visible Synthesis of Face Images using Multiple Regions

Benjamin S. Riggan, Nathaniel J. Short+1 more|arXiv (Cornell University)|Mar 20, 2018

Face recognition and analysis参考文献 20被引用 5

一句话总结

本文提出了一种多区域深度学习框架，通过联合优化全局人脸级与局部面部区域（眼睛、鼻子、嘴巴）表征，将热成像输入合成高质量的可见光人脸图像。通过利用区域特定的特征提取与正则化，该方法在跨光谱人脸识别方面达到最先进性能，相较于先前方法，AUC 提升 5.5%，EER 降低 3.7%，同时在合成图像上实现了精确的关键点检测。

ABSTRACT

Synthesis of visible spectrum faces from thermal facial imagery is a promising approach for heterogeneous face recognition; enabling existing face recognition software trained on visible imagery to be leveraged, and allowing human analysts to verify cross-spectrum matches more effectively. We propose a new synthesis method to enhance the discriminative quality of synthesized visible face imagery by leveraging both global (e.g., entire face) and local regions (e.g., eyes, nose, and mouth). Here, each region provides (1) an independent representation for the corresponding area, and (2) additional regularization terms, which impact the overall quality of synthesized images. We analyze the effects of using multiple regions to synthesize a visible face image from a thermal face. We demonstrate that our approach improves cross-spectrum verification rates over recently published synthesis approaches. Moreover, using our synthesized imagery, we report the results on facial landmark detection-commonly used for image registration-which is a critical part of the face recognition process.

研究动机与目标

• 为解决热成像与可见光人脸图像之间巨大的模态差异，该差异阻碍了跨光谱人脸识别与人工验证。
• 通过从热成像输入生成逼真的可见光风格人脸图像，实现与现有可见光谱人脸识别系统的互操作性。
• 通过联合优化全局与局部面部区域，提升合成人脸的判别能力。
• 评估合成图像在下游任务（如面部关键点检测）中的实用性。
• 证明基于区域的正则化可超越单区域或仅全局方法，显著提升合成质量与识别准确率。

提出的方法

• 一种全卷积神经网络（FCN）从全局感兴趣区域（整张人脸）和多个局部标志区域（眼睛、鼻子、嘴巴）中提取特征。
• 学习区域特定的跨光谱映射，以从热成像特征预测对应的可见光特征。
• 将来自全局与局部区域的梯度更新反向传播并合并，以优化合成网络。
• 在每个区域应用互补的正则化项，以提升合成可见光图像的纹理与结构保真度。
• 使用感知损失端到端训练该框架，以强制合成图像与真实可见光人脸特征之间的相似性。
• 使用标准可见光谱工具（如 DLIB）在合成图像上执行关键点检测，以评估其实际可用性。

实验结果

研究问题

• RQ1 在全局与局部面部区域上进行联合优化，是否能提升热成像到可见光人脸合成的判别能力？
• RQ2 引入区域特定正则化是否能带来优于仅全局或基线方法的跨光谱验证性能？
• RQ3 从热成像输入生成的合成可见光图像，是否能通过标准可见光谱工具实现精确的关键点检测？
• RQ4 在跨光谱验证的 AUC 与 EER 指标上，该方法与最先进合成技术相比表现如何？
• RQ5 多区域方法在多大程度上提升了合成图像在现有人脸识别流水线中的可用性？

主要发现

• 所提出的多区域合成方法在偏振热成像到可见光合成任务中，AUC 达到 85.43%，相比先前最先进方法提升 5.54%。
• 与先前最先进方法相比，该方法在偏振数据上将等错误率（EER）降低了 3.71%，达到 21.46% 的 EER。
• 对于常规热成像输入，该方法实现 26.25% 的 EER，相比先前最佳方法提升 1.11%。
• 在常规热成像输入的合成图像上，关键点检测的平均误差为 4.95 像素；在偏振热成像输入上，平均误差为 4.83 像素。
• 合成图像可成功支持标准可见光谱软件（如 DLIB）实现精确关键点检测，而原始热成像图像则无法实现。
• 该框架表明，结合全局与局部区域表征，并引入区域特定正则化，可显著提升合成质量与识别性能。