[论文解读] PoseFace: Pose-Invariant Features and Pose-Adaptive Loss for Face Recognition

Qiang Meng, Xiaqing Xu+7 more|arXiv (Cornell University)|Jul 25, 2021

Face recognition and analysis参考文献 54被引用 23

一句话总结

PoseFace 提出了一种自监督、端到端的框架，通过面部关键点和正交特征子空间，解耦身份特征与姿态特征，同时引入一种姿态自适应损失以缓解数据不平衡问题。该方法在大姿态基准测试中达到最先进性能，包括在 CFP 数据集上实现轮廓人脸识别的人类水平准确率，并在 Multi-PIE、IJB-B 和 CPLFW 上取得显著提升。

ABSTRACT

Despite the great success achieved by deep learning methods in face recognition, severe performance drops are observed for large pose variations in unconstrained environments (e.g., in cases of surveillance and photo-tagging). To address it, current methods either deploy pose-specific models or frontalize faces by additional modules. Still, they ignore the fact that identity information should be consistent across poses and are not realizing the data imbalance between frontal and profile face images during training. In this paper, we propose an efficient PoseFace framework which utilizes the facial landmarks to disentangle the pose-invariant features and exploits a pose-adaptive loss to handle the imbalance issue adaptively. Extensive experimental results on the benchmarks of Multi-PIE, CFP, CPLFW and IJB have demonstrated the superiority of our method over the state-of-the-arts.

研究动机与目标

• 为解决在大姿态变化下，特别是在非约束环境下人脸识别性能下降的问题。
• 缓解训练数据集中正面与轮廓人脸图像之间的数据不平衡问题。
• 在不依赖姿态特定模型或人脸正面化方法的前提下，学习姿态不变的身份特征。
• 通过一种新型损失函数，聚焦于困难且稀有的轮廓人脸样本，提升训练效率与识别准确率。

提出的方法

• 利用面部关键点将身份特征与姿态特征引导至两个正交子空间中进行解耦。
• 使用预训练自编码器从关键点生成特定姿态的特征向量，作为姿态特征的伪标签。
• 对映射函数施加线性和正交约束，以确保完全解耦并防止身份信息泄露至姿态特征中。
• 通过重加权 ArcFace 损失，引入一种姿态自适应损失，降低对正面人脸的惩罚，同时增加对轮廓人脸的惩罚。
• 通过联合优化身份识别与姿态解耦任务，实现整个网络的端到端训练。
• 利用正交约束确保身份特征对姿态变化保持不变，从而提升泛化能力。

实验结果

研究问题

• RQ1 是否可以在无需成对正面与轮廓图像的情况下，以自监督、端到端的方式有效解耦身份与姿态特征？
• RQ2 在训练过程中，如何缓解正面与轮廓人脸之间的数据不平衡问题，以提升对稀有大姿态样本的识别能力？
• RQ3 一种能自适应惩罚困难样本（如轮廓人脸）的损失函数，是否能提升模型在大姿态基准测试中的泛化性能？
• RQ4 所提出的方法是否能在轮廓人脸识别任务中达到人类水平性能？
• RQ5 该框架是否可扩展至 ArcFace 之外的其他损失函数与度量学习目标？

主要发现

• 在 Multi-PIE 数据集上，PoseFace 在 90° 偏航角下的 Rank-1 准确率相比基线模型相对提升了 6.51%，展现出对极端姿态的强大鲁棒性。
• 在采用正面-轮廓协议的 CFP 基准测试中，PoseFace34 达到 94.84% 的准确率，接近人类水平性能（94.57%），并超越所有先前方法。
• 在 IJB-B 和 IJB-C 上，PoseFace50 分别将 TAR@FAR=1e-5 提升了 1.48% 和 1.04%，优于当前最先进方法，包括使用更深主干网络的方法。
• PoseFace34 在 CPLFW 上达到 88.65% 的准确率，相比 ArcFace 基线提升 0.55%，证实其在野外识别任务中的有效性。
• 姿态自适应损失通过聚焦于困难样本（即稀有轮廓人脸）显著提升了模型收敛速度与性能。
• 自解耦机制在消融实验中被验证可有效保留身份信息，同时滤除姿态相关变化。