[论文解读] UV-GAN: Adversarial Facial UV Map Completion for Pose-invariant Face Recognition

Jiankang Deng, Shiyang Cheng+3 more|arXiv (Cornell University)|Dec 13, 2017

Face recognition and analysis参考文献 35被引用 5

一句话总结

UV-GAN 提出一种生成对抗网络，用于补全从野外图像中 3D 人脸模型拟合得到的不完整人脸 UV 图像，通过局部和全局对抗训练来保持身份信息。通过从补全的 UV 图像合成任意姿态的人脸，提升了训练中的姿态多样性，并减少了测试中的姿态差异，从而在 CFP 前后视角协议上实现了 94.05% 的最先进验证准确率。

ABSTRACT

Recently proposed robust 3D face alignment methods establish either dense or sparse correspondence between a 3D face model and a 2D facial image. The use of these methods presents new challenges as well as opportunities for facial texture analysis. In particular, by sampling the image using the fitted model, a facial UV can be created. Unfortunately, due to self-occlusion, such a UV map is always incomplete. In this paper, we propose a framework for training Deep Convolutional Neural Network (DCNN) to complete the facial UV map extracted from in-the-wild images. To this end, we first gather complete UV maps by fitting a 3D Morphable Model (3DMM) to various multiview image and video datasets, as well as leveraging on a new 3D dataset with over 3,000 identities. Second, we devise a meticulously designed architecture that combines local and global adversarial DCNNs to learn an identity-preserving facial UV completion model. We demonstrate that by attaching the completed UV to the fitted mesh and generating instances of arbitrary poses, we can increase pose variations for training deep face recognition/verification models, and minimise pose discrepancy during testing, which lead to better performance. Experiments on both controlled and in-the-wild UV datasets prove the effectiveness of our adversarial UV completion model. We achieve state-of-the-art verification accuracy, $94.05\%$, under the CFP frontal-profile protocol only by combining pose augmentation during training and pose discrepancy reduction during testing. We will release the first in-the-wild UV dataset (we refer as WildUV) that comprises of complete facial UV maps from 1,892 identities for research purposes.

研究动机与目标

• 解决从野外图像中 3D 人脸模型拟合导致的不完整人脸 UV 图像问题。
• 开发一种深度学习框架，补全人脸 UV 图像的同时保留身份信息。
• 利用从补全 UV 图像生成的合成人脸图像，实现姿态增强训练并减少人脸识别中的姿态差异。
• 收集并发布首个大规模野外 UV 数据集（WildUV），包含 1,892 个身份，供研究使用。

提出的方法

• 将 3D 可变形模型（3DMM）拟合到 2D 图像，从多视角数据集和一个新的 3,000 人身份 3D 数据集中提取不完整的人脸 UV 图像。
• 设计一种双判别器 GAN 架构，结合局部和全局对抗损失，生成一致且保留身份信息的 UV 补全结果。
• 将补全的 UV 图像绑定到 3D 网格上，通过渲染生成任意姿态的 2D 人脸图像。
• 在训练中应用姿态合成以增加训练数据的多样性，在测试中用于减少验证对之间的姿态不匹配。
• 采用视图插值（例如 15° 步长）生成模板对，利用特征中心实现鲁棒的验证。
• 在受控和野外 UV 数据集上进行训练和评估，包括新发布的 WildUV 数据集。

实验结果

研究问题

• RQ1 对抗学习能否在高达 50% 区域缺失的情况下，有效补全人脸 UV 图像并保留身份信息？
• RQ2 UV 补全及后续的姿态合成能否在不依赖大规模、姿态多样的训练数据集的情况下，提升姿态不变人脸识别的性能？
• RQ3 从补全的 UV 图像中合成任意姿态的人脸图像，能否减少测试中的姿态差异并提高验证准确率？
• RQ4 所提出的方法能否仅通过小规模数据集的数据增强，在 CFP 前后视角协议上实现最先进性能？

主要发现

• UV-GAN 在 CFP 前后视角协议上实现了 94.05% 的最先进验证准确率，优于先前方法。
• 通过 UV 补全实现的姿态增强使 CFP 数据集上的验证准确率从 87.74% 提升至 93.09%，证明了其在训练中的有效性。
• 在测试中通过从侧脸合成正面人脸，准确率提升 0.46%；反之，从正面合成侧脸，准确率提升 0.63%，表明其在减少姿态差异方面具有优势。
• 采用双模板合成（Frontal2Profile 和 Profile2Frontal）实现了 94.05% 的准确率，比先前最先进方法提升 0.29%。
• 在增强后的 CASIA-augUV 数据集上训练的模型，性能可与在更大 6 倍的 VGG2 数据集上训练的模型相媲美。
• 3DMM 拟合得到的 157 维身份参数中包含显著的身份信息，仅基于这些参数训练的模型即可达到 67.49% 的准确率，凸显了保留形状细节的重要性。