[论文解读] NPCFace: Negative-Positive Collaborative Training for Large-scale Face Recognition

Dan Zeng, Hailin Shi+4 more|arXiv (Cornell University)|Jul 20, 2020

Face recognition and analysis参考文献 50被引用 11

一句话总结

NPCFace 提出了一种新颖的损失函数，通过在 Softmax 输出 logits 中引入协同边界机制，显式建模大规模人脸识别中困难正样本（类内）与困难负样本（类间）之间的相关性。通过联合优化每个样本的正样本和负样本边界，NPCFace 在低误接受率（FAR）范围内实现了最先进性能，其在 IJB-C 数据集上 1e-5 FAR 下的验证率为 77.01%，且在 MS-Celeb-1M 上训练时间仅增加 6.1%。

ABSTRACT

The training scheme of deep face recognition has greatly evolved in the past years, yet it encounters new challenges in the large-scale data situation where massive and diverse hard cases occur. Especially in the range of low false accept rate (FAR), there are various hard cases in both positives (intra-class) and negatives (inter-class). In this paper, we study how to make better use of these hard samples for improving the training. The literature approaches this by margin-based formulation in either positive logit or negative logits. However, the correlation between hard positive and hard negative is overlooked, and so is the relation between the margins in positive and negative logits. We find such correlation is significant, especially in the large-scale dataset, and one can take advantage from it to boost the training via relating the positive and negative margins for each training sample. To this end, we propose an explicit collaboration between positive and negative margins sample-wisely. Given a batch of hard samples, a novel Negative-Positive Collaboration loss, named NPCFace, is formulated, which emphasizes the training on both negative and positive hard cases via the collaborative-margin mechanism in the softmax logits, and also brings better interpretation of negative-positive hardness correlation. Besides, the emphasis is implemented with an improved formulation to achieve stable convergence and flexible parameter setting. We validate the effectiveness of our approach on various benchmarks of large-scale face recognition, and obtain advantageous results especially in the low FAR range.

研究动机与目标

• 为解决大规模人脸识别中困难正样本与困难负样本频繁共现的问题，尤其是在低误接受率（FAR）范围内的挑战。
• 克服先前方法将困难正样本与困难负样本独立处理的局限，通过在边界优化中建模其相关性。
• 开发一种联合强调困难正样本与困难负样本的训练损失，通过样本级协同边界机制实现。
• 通过负样本 logits 中改进的边界参数化，确保稳定收敛并实现灵活的超参数调优。
• 在大规模基准测试中实现卓越性能，尤其在具有挑战性的低 FAR 场景下。

提出的方法

• NPCFace 引入了一种新颖的损失函数，在 Softmax 层中对正样本和负样本 logits 均应用协同边界，显式建模困难类内样本与类间样本之间的相关性。
• 对于每个训练样本，该方法计算一个样本级边界，以平衡对困难正样本与困难负样本的关注，从而提升嵌入空间中的判别能力。
• 损失函数引入了负样本 logits 中改进的边界参数化，以确保优化过程稳定并实现灵活的超参数控制。
• 该方法根据正样本和负样本的困难程度动态调整边界，促进更好的特征分离。
• 其设计与现有深度人脸识别框架兼容，仅引入极小的计算开销，在 MS-Celeb-1M 上训练时间仅增加 6.1%。
• 该方法通过在多个基准（包括 CASIA-WebFace、MS-Celeb-1M、IJB-B 和 IJB-C）上的消融研究与对比实验得到验证。

实验结果

研究问题

• RQ1 如何利用困难正样本与困难负样本之间的相关性来提升大规模人脸识别中的训练效果？
• RQ2 一种联合优化正样本与负样本 logits 的协同边界机制，能否带来更好的泛化性与鲁棒性？
• RQ3 所提出的 NPCFace 损失是否在性能上优于现有基于边界的损失函数，尤其是在低 FAR 范围内？
• RQ4 与标准基于边界的损失相比，应用样本级协同边界的计算成本如何？
• RQ5 负样本 logits 中改进的边界参数化是否能确保稳定收敛并实现灵活的超参数调优？

主要发现

• 在 MS-Celeb-1M 数据集上，NPCFace 在 1e-4 FAR 下达到 99.83% 的验证率，在 1e-5 FAR 下达到 99.36%，优于该基准上所有先前方法。
• 在 IJB-B 和 IJB-C 基准上，NPCFace 分别在 1e-5 FAR 下实现 92.02% 和 85.59% 的验证率，显著优于次优方法 CurricularFace。
• 与 ArcFace 相比，NPCFace 在 IJB-C 上 1e-5 FAR 下的验证率提升了 2.46 个百分点；与 CurricularFace 相比，提升了 1.51 个百分点。
• 在 MS-Celeb-1M 上以 10 万个身份进行训练时，NPCFace 的计算开销仅比 CosFace 和 ArcFace 增加 6.1%，展现出优异的效率。
• 消融研究证实，协同边界机制显著提升了性能，尤其是在困难样本场景下，通过有效利用困难正负样本之间的相关性。
• 负样本 logits 中改进的边界参数化带来了更稳定的收敛过程和更灵活的参数调优能力，该结论在多种训练设置下均得到验证。