[论文解读] Priming Deep Neural Networks with Synthetic Faces for Enhanced Performance

Adam Kortylewski, Andreas Schneider+6 more|arXiv (Cornell University)|Nov 19, 2018

Face recognition and analysis参考文献 56被引用 6

一句话总结

本文提出使用从3D可变形人脸模型生成的合成人脸图像对深度神经网络进行预训练，以提升面部分析任务中的泛化能力和数据集效率。通过在无限且可控的合成数据上进行预训练，模型在人脸识别任务中可将真实数据需求降低75%，在关键点检测任务中降低50%，优于数据增强和迁移学习方法，同时减轻了偏差影响。

ABSTRACT

Today's most successful facial image analysis systems are based on deep neural networks. However, a major limitation of such deep learning approaches is that their performance depends strongly on the availability of large annotated datasets. In this work, we prime deep neural networks by pre-training them with synthetic face images for specific facial analysis tasks. We demonstrate that this approach enhances both the generalization performance as well as the dataset efficiency of deep neural networks. Using a 3D morphable face model, we generate arbitrary amounts of annotated data with full control over image characteristics such as facial shape and color, pose, illumination, and background. With a series of experiments, we extensively test the effect of priming deep neural networks with synthetic face examples for two popular facial image analysis tasks: face recognition and facial landmark detection. We observed the following positive effects for both tasks: 1) Priming with synthetic face images improves the generalization performance consistently across all benchmark datasets. 2) The amount of real-world data needed to achieve competitive performance is reduced by 75% for face recognition and by 50% for facial landmark detection. 3) Priming with synthetic faces is consistently superior at enhancing the performance of deep neural networks than data augmentation and transfer learning techniques. Furthermore, our experiments provide evidence that priming with synthetic faces is able to enhance performance because it reduces the negative effects of biases present in real-world training data. The proposed synthetic face image generator, as well as the software used for our experiments, have been made publicly available.

研究动机与目标

• 解决深度神经网络在面部分析任务中对大规模标注真实世界数据集的严重依赖问题。
• 克服因真实训练数据存在偏差或有限性而导致的数据集效率低下与泛化能力不足的问题。
• 探究合成数据是否可作为有效的预训练信号，以提升人脸识别与面部关键点检测的性能。
• 研究合成数据预训练是否能减轻真实世界数据集中存在的偏差对模型的负面影响。
• 展示一种可扩展、可控的多样化、全标注合成人脸图像生成方法，用于深度网络的预训练。

提出的方法

• 使用3D可变形人脸模型生成合成人脸图像，以完全控制面部形状、肤色、姿态、光照和背景，并实现完整标注。
• 在大规模合成人脸数据集上对深度神经网络进行预训练，随后在真实世界基准数据集上进行微调。
• 控制数据特征，如身份多样性、姿态变化和光照条件，以模拟真实世界中的分布偏移。
• 采用标准深度学习架构进行人脸识别与面部关键点检测，并在合成数据预训练后进行微调。
• 与基线方法（包括数据增强和使用ImageNet权重的迁移学习）进行性能对比。
• 在多个基准数据集上评估模型在两类任务中的泛化能力与数据集效率。

实验结果

研究问题

• RQ1 使用合成人脸图像进行预训练是否能提升深度神经网络在多样化基准数据集上的泛化性能？
• RQ2 合成数据预训练在多大程度上能减少人脸识别与面部关键点检测任务中达到竞争力性能所需的真实世界数据量？
• RQ3 与传统数据增强和迁移学习相比，合成数据预训练在提升模型性能方面表现如何？
• RQ4 使用合成人脸进行预训练是否能缓解真实世界训练数据中偏差的负面影响？
• RQ5 在合成数据中对可控变量（如姿态、光照）的调整，对下游模型鲁棒性有何影响？

主要发现

• 使用合成人脸图像对深度神经网络进行预训练，在所有基准数据集上均能持续提升人脸识别与面部关键点检测的泛化性能。
• 在使用合成预训练的情况下，人脸识别任务的真实数据需求减少75%，面部关键点检测任务减少50%。
• 合成数据预训练在提升两类任务模型性能方面，优于数据增强与迁移学习技术。
• 合成预训练带来的性能增益可归因于减少了真实世界训练数据中偏差的负面影响。
• 所提出的合成人脸生成器与实验软件已公开发布，以支持可复现性与进一步研究。