[论文解读] Pose-Robust Face Recognition via Deep Residual Equivariant Mapping

Kaidi Cao, Yu Rong+3 more|arXiv (Cornell University)|Mar 2, 2018

Face recognition and analysis参考文献 28被引用 20

一句话总结

本文提出了一种轻量级、可学习的模块——深度残差等变映射（DREAM）块，该模块在特征空间内将侧脸的深层特征表示转换为标准正脸姿态，从而在无需数据增强的情况下提升姿态鲁棒性的人脸识别性能。该方法在多个基准测试中达到最先进水平，在MS-Celeb-1M数据集上相较于基线模型将等错误率（EER）降低了最多1.25%。

ABSTRACT

Face recognition achieves exceptional success thanks to the emergence of deep learning. However, many contemporary face recognition models still perform relatively poor in processing profile faces compared to frontal faces. A key reason is that the number of frontal and profile training faces are highly imbalanced - there are extensively more frontal training samples compared to profile ones. In addition, it is intrinsically hard to learn a deep representation that is geometrically invariant to large pose variations. In this study, we hypothesize that there is an inherent mapping between frontal and profile faces, and consequently, their discrepancy in the deep representation space can be bridged by an equivariant mapping. To exploit this mapping, we formulate a novel Deep Residual EquivAriant Mapping (DREAM) block, which is capable of adaptively adding residuals to the input deep representation to transform a profile face representation to a canonical pose that simplifies recognition. The DREAM block consistently enhances the performance of profile face recognition for many strong deep networks, including ResNet models, without deliberately augmenting training data of profile faces. The block is easy to use, light-weight, and can be implemented with a negligible computational overhead.

研究动机与目标

• 解决由于数据不平衡和深层模型对几何变化敏感性导致的正脸与侧脸在人脸识别性能上的差距。
• 克服图像级正脸化方法引入伪影并增加计算负担的局限性。
• 开发一种可泛化的轻量级模块，无需微调或数据增强即可增强现有深层网络。
• 通过在深层特征空间中学习姿态等变变换，实现对侧脸的有效识别。
• 证明在特征空间中进行正脸化比在图像空间中正脸化更有效于实现姿态鲁棒性识别。

提出的方法

• 提出DREAM块作为门控残差分支，学习自适应地向输入深层特征添加残差，以将侧脸表示转换为标准正脸姿态。
• 采用软门控机制，根据输入人脸偏航角动态控制残差大小，对极端侧脸应用更多校正。
• 设计DREAM块时，通过全连接层或一维卷积层实现可学习映射，并基于输入特征表示生成与姿态相关的残差。
• 将DREAM块集成到现有深层网络（如ResNet-18、ResNet-50）的关键位置，尤其是特征层之后，以实现最佳性能。
• 端到端训练DREAM块与主干网络，实现身份表示与姿态不变表示学习的联合优化。
• 对软门控使用非线性映射，优先对高偏航角人脸（>45°）进行校正，这类人脸对标准CNN更具挑战性。

实验结果

研究问题

• RQ1 在深层特征空间中，一个可学习的轻量级模块能否有效弥合侧脸与正脸之间的表征差距？
• RQ2 通过残差映射实现的特征空间变换是否在识别准确率和鲁棒性方面优于图像空间正脸化？
• RQ3 软门控机制如何影响不同姿态角度下的性能表现，尤其是在极端侧脸情况下？
• RQ4 DREAM块是否可以无需架构修改而通用应用于不同深层网络结构？
• RQ5 DREAM块是否能在训练过程中不依赖额外侧脸数据的情况下提升侧脸识别性能？

主要发现

• 与基线ResNet-18相比，DREAM块在MS-Celeb-1M上将等错误率（EER）降低了1.25%，达到8.45%的EER。
• 软门控机制显著提升性能：若始终关闭（即禁用自适应控制），EER上升至9.31%，证明该机制的必要性，而不仅仅是增加参数。
• 非线性软门控映射优于线性映射，使EER降低0.37%（从8.82%降至8.45%），证实其在纠正高偏航人脸方面的有效性。
• 将DREAM块插入特征层之后（而非池化层之后）性能更优，EER为8.45%对比池化位置的9.22%。
• DREAM块在多种网络架构（包括ResNet-18、ResNet-50和Center-Loss模型）中均一致提升性能，展现出良好的泛化能力。
• 该方法在具有挑战性的正脸-侧脸对比中，显著降低误报和漏报，尤其在极端偏航场景下优于基线模型，在CFP和IJB-A数据集上表现更优。