[论文解读] Multi-Task Convolutional Neural Network for Face Recognition.

Xi Yin, Xiaoming Liu|arXiv (Cornell University)|Feb 15, 2017

Face recognition and analysis参考文献 34被引用 13

一句话总结

本文提出了一种用于人脸识别的多任务卷积神经网络，通过联合学习身份识别以及姿态、光照和表情估计等辅助任务，实现性能提升。通过采用动态损失加权和姿态导向的特征学习方法，模型在LFW、CFP和IJB-A数据集上实现了最先进性能，同时是首个在训练中使用完整Multi-PIE数据集的方法。

ABSTRACT

This paper explores multi-task learning (MTL) for face recognition. We answer the questions of how and why MTL can improve the face recognition performance. First, we propose a multi-task Convolutional Neural Network (CNN) for face recognition where identity recognition is the main task and pose, illumination, and expression estimations are the side tasks. Second, we develop a dynamic-weighting scheme to automatically assign the loss weight to each side task. Third, we propose a pose-directed multi-task CNN by grouping different poses to learn pose-specific identity features, simultaneously across all poses. We observe that the side tasks serve as regularizations to disentangle the variations from the learnt identity features. Extensive experiments on the entire Multi-PIE dataset demonstrate the effectiveness of the proposed approach. To the best of our knowledge, this is the first work using all data in Multi-PIE for face recognition. Our approach is also applicable to in-the-wild datasets for pose-invariant face recognition and we achieve comparable or better performance than state of the art on LFW, CFP, and IJB-A.

研究动机与目标

• 研究多任务学习如何通过利用辅助任务提升人脸识别性能。
• 解决人脸识别中因域偏移以及姿态、光照和表情变化带来的挑战。
• 开发一种动态损失加权方案，自动平衡训练过程中各辅助任务的贡献。
• 设计一种姿态导向的网络结构，学习所有姿态下的特定身份特征。
• 在受控环境（Multi-PIE）和真实场景（LFW、CFP、IJB-A）数据集上验证该方法的有效性。

提出的方法

• 设计了一个多任务卷积神经网络，以身份识别为主任务，姿态、光照和表情估计为辅助任务。
• 引入一种动态加权方案，根据训练进度自动调整各辅助任务的损失贡献。
• 姿态导向的多任务卷积神经网络通过分组不同姿态来学习姿态特定的身份表征，从而提升对姿态变化的鲁棒性。
• 辅助任务作为正则化器，帮助将身份相关特征与姿态、光照和表情的变化相分离。
• 在完整Multi-PIE数据集上端到端进行训练，最大限度利用可用数据。
• 通过在LFW、CFP和IJB-A基准上微调，使该框架可迁移至真实场景数据集。

实验结果

研究问题

• RQ1 如何通过利用辅助任务提升多任务学习在人脸识别中的性能？
• RQ2 在人脸识别的多任务学习设置中，平衡多个损失函数的最优方式是什么？
• RQ3 特定姿态的特征学习是否能增强跨不同姿态的身份表征鲁棒性？
• RQ4 姿态和光照估计等辅助任务在分离身份特征方面在多大程度上起到正则化作用？
• RQ5 所提出的方法是否能泛化至真实场景数据集并实现最先进性能？

主要发现

• 所提出的多任务卷积神经网络在LFW、CFP和IJB-A基准上实现了最先进性能，优于或匹配现有方法。
• 使用Multi-PIE数据集中全部数据进行训练，相比先前方法，显著提升了泛化能力和鲁棒性。
• 动态损失加权方案有效平衡了各辅助任务的贡献，提升了训练稳定性和性能。
• 姿态导向的特征学习使模型能够学习到对姿态变化不变的身份表征。
• 辅助任务如姿态和光照估计作为有效的正则化器，减少了过拟合并改善了特征解耦。
• 模型在真实场景设置中表现出强大的迁移能力，证实了其在受控环境之外的实际应用价值。