[论文解读] Towards Universal Representation Learning for Deep Face Recognition

Yichun Shi, Yu Xiang+3 more|arXiv (Cornell University)|Feb 26, 2020

Face recognition and analysis参考文献 41被引用 14

一句话总结

本文提出了一种通用的深度人脸表征学习框架，通过在无需目标域数据的情况下增强对极端变化（如模糊、遮挡和姿态变化）的泛化能力。通过将特征分解为具有置信度感知的子嵌入，并应用变化分类损失与对抗性损失以实现去相关，该方法在 IJB-S 和 TinyFace 等具有挑战性的基准上实现了最先进性能，同时在 LFW 和 MegaFace 等标准数据集上也保持了优异表现。

ABSTRACT

Recognizing wild faces is extremely hard as they appear with all kinds of variations. Traditional methods either train with specifically annotated variation data from target domains, or by introducing unlabeled target variation data to adapt from the training data. Instead, we propose a universal representation learning framework that can deal with larger variation unseen in the given training data without leveraging target domain knowledge. We firstly synthesize training data alongside some semantically meaningful variations, such as low resolution, occlusion and head pose. However, directly feeding the augmented data for training will not converge well as the newly introduced samples are mostly hard examples. We propose to split the feature embedding into multiple sub-embeddings, and associate different confidence values for each sub-embedding to smooth the training procedure. The sub-embeddings are further decorrelated by regularizing variation classification loss and variation adversarial loss on different partitions of them. Experiments show that our method achieves top performance on general face recognition datasets such as LFW and MegaFace, while significantly better on extreme benchmarks such as TinyFace and IJB-S.

研究动机与目标

• 开发一种能够无需依赖目标域数据即可泛化到未见变化的通用人脸表征。
• 解决数据增强过程中由困难样本（如模糊、遮挡、姿态变化）引起的训练不稳定性问题。
• 通过将嵌入分解为具有独立置信度值的子嵌入，提升特征的判别力与鲁棒性。
• 通过变化分类与对抗性损失实现子嵌入的去相关，从而增强表征能力。
• 通过基于不确定性的概率聚合策略实现有效推理。

提出的方法

• 该方法将深度特征嵌入分解为多个子嵌入，每个子嵌入分配一个与样本和子嵌入相关的置信度值，以稳定在困难增强样本上的训练。
• 引入一种置信度感知的识别损失，根据每个样本和每个子嵌入的不确定性动态调整学习过程。
• 应用变化分类损失，促使子嵌入能够预测特定变化类型（如姿态、模糊），从而促进特征解耦。
• 采用变化对抗性损失，通过使子嵌入对特定变化因素保持不变，进一步实现去相关。
• 推理阶段采用基于不确定度得分的概率聚合策略，对子嵌入进行加权，提升鲁棒性。
• 在 MS-Celeb-1M 上应用合成数据增强，引入低分辨率、遮挡和头部姿态等命名变化。

实验结果

研究问题

• RQ1 单一深度人脸模型是否能在无需目标域数据的情况下，实现对多样化未见变化的强泛化能力？
• RQ2 在表示学习过程中，如何缓解由困难增强样本（如被遮挡或低分辨率的人脸）引起的训练不稳定性？
• RQ3 子嵌入分解与去相关在多大程度上能提升对极端变化的鲁棒性？
• RQ4 子嵌入的不确定性感知聚合策略在低质量或分布外人脸图像上的性能提升机制是什么？
• RQ5 能否学习到一种通用表征，使其在标准基准与 IJB-S 和 TinyFace 等极端基准上均表现优异？

主要发现

• 所提方法在 IJB-S 基准上实现了最先进性能，rank-1 准确率达到 63.89%，rank-5 准确率达到 68.67%，显著优于先前方法如 ArcFace（47.39% 和 52.28%）和 [3]（44.80% 和 60.40%）。
• 在 IJB-C 基准上，该方法在所有协议下均表现优越，即使未进行微调也超越了最先进方法。
• 在 IJB-A 上，该方法在未微调条件下达到最佳性能，证明了其对未见变化的强大泛化能力。
• 在 LFW 和 MegaFace 等标准基准上，该方法保持了高准确率，与 ArcFace 相当，验证了其在多样化数据分布下的鲁棒性。
• 消融实验表明，置信度感知学习、子嵌入去相关与不确定性聚合的组合是实现极端基准性能提升的关键。
• 热力图可视化显示，子嵌入的不确定性在低质量或困难图像（如被遮挡或大姿态人脸）上显著增加，证实了模型能够根据置信度自适应地加权特征。