[论文解读] Towards Large-Pose Face Frontalization in the Wild

Xi Yin, Yu Xiang+3 more|arXiv (Cornell University)|Apr 20, 2017

Face recognition and analysis参考文献 35被引用 43

一句话总结

本文提出FF-GAN，一种基于3D可变形模型（3DMM）条件的生成对抗网络，用于在野外环境中对大姿态人脸图像（包括高达90°的极端侧脸视图）进行高质量、身份保持的正面化处理。通过整合3DMM先验、判别器、身份识别正则化以及新颖的对称性和重建损失，FF-GAN在LFW和Multi-PIE数据集上实现了最先进的面部验证准确率，尤其在超过45°的视角下表现优异。

ABSTRACT

Despite recent advances in face recognition using deep learning, severe accuracy drops are observed for large pose variations in unconstrained environments. Learning pose-invariant features is one solution, but needs expensively labeled large-scale data and carefully designed feature learning algorithms. In this work, we focus on frontalizing faces in the wild under various head poses, including extreme profile views. We propose a novel deep 3D Morphable Model (3DMM) conditioned Face Frontalization Generative Adversarial Network (GAN), termed as FF-GAN, to generate neutral head pose face images. Our framework differs from both traditional GANs and 3DMM based modeling. Incorporating 3DMM into the GAN structure provides shape and appearance priors for fast convergence with less training data, while also supporting end-to-end training. The 3DMM-conditioned GAN employs not only the discriminator and generator loss but also a new masked symmetry loss to retain visual quality under occlusions, besides an identity loss to recover high frequency information. Experiments on face recognition, landmark localization and 3D reconstruction consistently show the advantage of our frontalization method on faces in the wild datasets.

研究动机与目标

• 解决在非受限环境中因大姿态变化导致的面部识别准确率严重下降的问题。
• 开发一种方法，对非正面人脸图像（包括高达90°的极端侧脸视图）进行正面化处理，同时保持身份特征和视觉质量。
• 通过结合纯数据驱动的GAN方法与3DMM方法的优势，克服二者各自的局限性，实现更好的泛化能力和细节保留。
• 通过端到端训练整合形状与外观先验，降低对数据的依赖性并提升收敛性。
• 提供一种适用于面部识别、3D重建以及虚拟/增强现实应用的解决方案，输出结果逼真且保持身份一致性。

提出的方法

• 集成一个深层基于3DMM的重建器，从单张输入图像中估计3D形状和外观系数，提供全局姿态和低频先验信息。
• 设计一个生成器网络，将3DMM系数与输入图像融合，以合成正面人脸图像，同时保留高频局部细节。
• 采用判别器区分真实正面人脸与生成图像，以增强真实感并实现高层分布对齐。
• 提出一种新型掩码对称性损失，以在自遮挡情况下（尤其是侧脸视图）维持视觉质量。
• 利用预训练的面部识别网络引入身份损失，对齐输入图像与生成图像之间的特征表示，确保身份一致性。
• 通过平衡组合对抗损失、重建损失、对称性损失和身份损失，对整个框架进行端到端优化。

实验结果

研究问题

• RQ1 基于3DMM条件的生成对抗网络框架是否能在非受限、野外环境中实现对极端头部姿态（高达90°）人脸的高保真正面化？
• RQ2 3DMM先验的整合在提升正面化任务的收敛速度和降低数据需求方面有多显著？
• RQ3 与标准GAN损失相比，所提出的掩码对称性损失在遮挡情况下的视觉质量提升程度如何？
• RQ4 通过面部识别引擎实现的身份正则化在大姿态变化下对身份保持的有效性如何？
• RQ5 所提出的方法是否能在面部验证准确率上超越现有最先进方法，特别是在超过45°的视角下？

主要发现

• 在Multi-PIE数据集上，FF-GAN在0°至90°姿态范围内的面部验证准确率达到91.6%，显著优于先前方法，尤其在极端姿态下表现突出。
• 在LFW数据集上，FF-GAN利用正面化输出实现91.5%的验证准确率，超越了此前最先进结果。
• 消融实验表明，若移除识别引擎（C），性能下降至59.2%，证明其在身份保持中的关键作用。
• 3DMM重建器（R）贡献显著，若将其移除，性能降至68.5%，表明其在减少伪影和引导姿态对齐方面的重要性。
• 掩码对称性损失和身份损失各自均有显著贡献，分别在移除后导致性能下降至73.1%和69.3%，凸显其在图像质量和身份保真度方面的作用。
• 在AFLW和IJB-A数据集上的定性结果表明，FF-GAN即使在光照、表情和姿态变化较大的挑战性条件下，也能生成逼真且身份一致的正面人脸图像。