[论文解读] PAM: Pose Attention Module for Pose-Invariant Face Recognition

En-Jung Tsai, Wei‐Chang Yeh|arXiv (Cornell University)|Nov 23, 2021

Face recognition and analysis参考文献 36被引用 4

一句话总结

本文提出姿态注意力模块（PAM），一种轻量级注意力模块，通过在层次化特征空间中使用软门控机制，学习正面与侧脸之间的残差特征变换，实现姿态不变的人脸识别。PAM 在多个基准测试中达到最先进性能，同时相比先前方法将内存需求降低了逾75倍。

ABSTRACT

Pose variation is one of the key challenges in face recognition. Conventional techniques mainly focus on face frontalization or face augmentation in image space. However, transforming face images in image space is not guaranteed to preserve the lossless identity features of the original image. Moreover, these methods suffer from more computational costs and memory requirements due to the additional models. We argue that it is more desirable to perform feature transformation in hierarchical feature space rather than image space, which can take advantage of different feature levels and benefit from joint learning with representation learning. To this end, we propose a lightweight and easy-to-implement attention block, named Pose Attention Module (PAM), for pose-invariant face recognition. Specifically, PAM performs frontal-profile feature transformation in hierarchical feature space by learning residuals between pose variations with a soft gate mechanism. We validated the effectiveness of PAM block design through extensive ablation studies and verified the performance on several popular benchmarks, including LFW, CFP-FP, AgeDB-30, CPLFW, and CALFW. Experimental results show that our method not only outperforms state-of-the-art methods but also effectively reduces memory requirements by more than 75 times. It is noteworthy that our method is not limited to face recognition with large pose variations. By adjusting the soft gate mechanism of PAM to a specific coefficient, such semantic attention block can easily extend to address other intra-class imbalance problems in face recognition, including large variations in age, illumination, expression, etc.

研究动机与目标

• 为解决深度人脸识别中姿态变化带来的挑战，该挑战因训练数据中类内不平衡而导致显著性能下降。
• 克服图像空间变换方法无法保留身份特征且增加计算开销的局限性。
• 开发一种轻量级、模块化的注意力模块，实现在层次化特征空间而非图像或最终嵌入空间中的有效特征变换。
• 通过利用多级特征实现联合学习与表征学习，提升对姿态变化的鲁棒性。
• 将所提模块的适用范围扩展至姿态变化之外的其他类内变化，如年龄、光照和表情。

提出的方法

• PAM 是一种由两个顺序子模块组成的轻量级注意力模块：深度可分离残差模块（DRM）和通道注意力模块（CAM）。
• DRM 使用深度可分离卷积和软门控机制，学习正面与侧脸特征之间的残差，以自适应地调制特征变换。
• CAM 在 DRM 之后重新加权特征通道，以增强基于姿态变化的判别性特征表示。
• 该模块被集成到深层人脸识别模型的多个特征层级，以实现层次化特征变换。
• DRM 中的软门控机制使模型能够以参数高效的方式学习跨姿态变化的共享、近似特征变换。
• PAM 设计为可轻松与现有人脸识别架构集成，仅需极少的架构修改。

实验结果

研究问题

• RQ1 在层次化特征空间中进行特征变换，是否能优于在图像空间或最终嵌入空间中进行变换，以实现姿态不变的人脸识别？
• RQ2 轻量级注意力模块能否有效学习正面与侧脸特征之间的残差变换，同时保留身份信息？
• RQ3 与现有姿态不变方法相比，所提出的PAM模块是否在不牺牲性能的前提下降低了内存与计算成本？
• RQ4 PAM 中的软门控机制是否可泛化以应对其他类内变化，如年龄、光照和表情？
• RQ5 在具有挑战性的基准测试中，PAM 与 ArcFace 和 DREAM 等最先进方法相比，在准确率与效率方面表现如何？

主要发现

• PAM 在 LFW、CFP-FP、AgeDB-30、CPLFW 和 CALFW 上均达到最先进性能，LFW 上准确率达 99.82%，CPLFW 上达 92.80%。
• 尽管仅使用 50 层 ResNet，PAM 在 CPLFW 和 CALFW 上仍优于 ArcFace (IR100)，表明其具有极高的参数效率。
• PAM 在 CFP-FP 和 CPLFW 上性能优于 DREAM 块，同时模型参数量减少逾 75 倍。
• 与 IR50 基线相比，PAM 在 CFP-FP 上将验证准确率提升 0.35%，在 CPLFW 上提升 0.15%。
• 该方法展现出强大的泛化能力，在 AgeDB-30 上较 DREAM 提升 0.05%，在 CALFW 上提升 0.12%，尽管参数量更低。
• 消融实验确认，层次化特征空间变换比特征嵌入空间更有效，显著提升了对姿态变化的鲁棒性。