[论文解读] To Frontalize or Not To Frontalize: A Study of Face Pre-Processing Techniques and Their Impact on Recognition

Sandipan Banerjee, Joel Brogan+6 more|arXiv (Cornell University)|Oct 16, 2016

Face recognition and analysis参考文献 26被引用 1

一句话总结

本文评估了面部预处理技术（尤其是正面化）对基于深度学习的人脸识别的影响。提出了一种新颖的单图像正面化方法，其性能优于现有方法，表明在使用卷积神经网络（CNN）时，通过姿态归一化进行预处理能显著提高PaSC和Multi-PIE数据集上的识别准确率。

ABSTRACT

Face recognition performance has improved remarkably in the last decade. Much of this success can be attributed to the development of deep learning techniques such as convolutional neural networks (CNNs). While CNNs have pushed the state-of-the-art forward, their training process requires a large amount of clean and correctly labelled training data. If a CNN is intended to tolerate facial pose, then we face an important question: should this training data be diverse in its pose distribution, or should face images be normalized to a single pose in a pre-processing step? To address this question, we evaluate a number of popular facial landmarking and pose correction algorithms to understand their effect on facial recognition performance. Additionally, we introduce a new, automatic, single-image frontalization scheme that exceeds the performance of current algorithms. CNNs trained using sets of different pre-processing methods are used to extract features from the Point and Shoot Challenge (PaSC) and CMU Multi-PIE datasets. We assert that the subsequent verification and recognition performance serves to quantify the effectiveness of each pose correction scheme.

研究动机与目标

• 探究将面部图像预处理为标准正面姿态是否能提升基于深度学习的人脸识别性能。
• 在识别准确率的背景下，评估现有的面部关键点定位与姿态校正算法。
• 开发并验证一种新型全自动单图像正面化方法，其性能优于当前最先进技术。
• 通过基准数据集上的特征提取与验证性能，量化不同预处理策略的有效性。

提出的方法

• 作者在卷积神经网络（CNN）特征提取之前，应用多种面部关键点定位与姿态校正算法，将面部图像归一化为正面姿态。
• 提出一种新颖的单图像正面化方法，利用深度学习从单张非约束图像中合成正面视图。
• 在使用多种正面化技术（包括所提方法）预处理的数据集上训练CNN，以提取判别性特征。
• 通过Point and Shoot Challenge（PaSC）和CMU Multi-PIE数据集评估性能，重点关注验证与识别准确率。
• 通过比较不同姿态条件下各预处理方法的识别性能，量化每种方法的有效性。

实验结果

研究问题

• RQ1 将面部图像预处理为正面姿态是否能提升深度学习模型的识别性能？
• RQ2 现有面部关键点定位与姿态校正算法在识别准确率方面的影响如何比较？
• RQ3 新型单图像正面化方法能否超越现有最先进技术？
• RQ4 在基于CNN的人脸识别中，姿态归一化与多样化姿态训练数据的相对贡献如何？

主要发现

• 所提出的单图像正面化方法在识别准确率方面优于现有算法。
• 通过正面化进行预处理显著提升了在PaSC和Multi-PIE等非约束数据集上的识别性能。
• 通过预处理实现的姿态归一化可生成更鲁棒的特征表示，尤其在大姿态变化情况下表现更优。
• 研究表明，使用预处理的正面图像进行训练，其验证性能优于使用原始非约束姿态图像的训练。