[论文解读] Range Loss for Deep Face Recognition with Long-tail

Xiao Zhang, Zhiyuan Fang+3 more|arXiv (Cornell University)|Nov 28, 2016

Face recognition and analysis参考文献 31被引用 51

一句话总结

本文提出范围损失（range loss），一种新型损失函数，在长尾数据分布下减少类内差异并增大类间距离。通过优化小批量中前k个最大类内距离的调和平均值与最短类间距离，范围损失能够有效利用少数类样本进行学习，在数据不平衡的情况下于LFW和YTF基准上实现最先进性能。

ABSTRACT

Convolutional neural networks have achieved great improvement on face recognition in recent years because of its extraordinary ability in learning discriminative features of people with different identities. To train such a well-designed deep network, tremendous amounts of data is indispensable. Long tail distribution specifically refers to the fact that a small number of generic entities appear frequently while other objects far less existing. Considering the existence of long tail distribution of the real world data, large but uniform distributed data are usually hard to retrieve. Empirical experiences and analysis show that classes with more samples will pose greater impact on the feature learning process and inversely cripple the whole models feature extracting ability on tail part data. Contrary to most of the existing works that alleviate this problem by simply cutting the tailed data for uniform distributions across the classes, this paper proposes a new loss function called range loss to effectively utilize the whole long tailed data in training process. More specifically, range loss is designed to reduce overall intra-personal variations while enlarging inter-personal differences within one mini-batch simultaneously when facing even extremely unbalanced data. The optimization objective of range loss is the $k$ greatest range's harmonic mean values in one class and the shortest inter-class distance within one batch. Extensive experiments on two famous and challenging face recognition benchmarks (Labeled Faces in the Wild (LFW) and YouTube Faces (YTF) not only demonstrate the effectiveness of the proposed approach in overcoming the long tail effect but also show the good generalization ability of the proposed approach.

研究动机与目标

• 为解决深度人脸识别中的长尾分布问题，即少数类因训练样本不足导致特征学习效果差。
• 开发一种损失函数，能有效利用所有数据（包括稀有类），而无需数据过滤或过采样。
• 通过聚焦于小批量中最具挑战性的类内样本，提升模型泛化能力。
• 在多个基准和网络架构上验证所提损失的有效性与泛化能力。

提出的方法

• 范围损失定义为小批量中前k个最大类内欧氏距离的调和平均值，促使每个身份在特征空间中更加紧凑。
• 同时最小化同一小批量中任意两个身份之间的最短类间距离，促进类间分离。
• 与Softmax损失联合优化，以在增强对长尾数据鲁棒性的同时保持类别可分性。
• 训练过程中动态重新计算类内范围，聚焦于每类中最具挑战性的样本。
• 该方法应用于深度残差网络，并在标准人脸识别基准上进行评估，仅使用极少的数据过滤。

实验结果

研究问题

• RQ1 能否设计一种损失函数，在不移除或过采样稀有类的情况下，提升深度人脸识别在长尾数据集上的性能？
• RQ2 在小批量中优化类内紧凑性与类间距离，对少数类身份的模型泛化能力有何影响？
• RQ3 将范围损失与Softmax损失结合，是否能带来优于单独使用任一损失或现有方法（如对比损失）的特征学习效果？
• RQ4 所提损失是否能在不同深度网络架构上实现泛化，并在标准基准上达到最先进性能？

主要发现

• 在150万张过滤图像上使用范围损失与Softmax损失联合训练的模型E，在LFW上达到99.52%准确率，优于基线模型D（98.27%），提升1.25个百分点。
• 在YTF上，同一模型达到93.70%准确率，较基线模型D（93.10%）提升0.60个百分点。
• 尽管训练数据集更小，基于范围损失的模型仍优于多种最先进模型，包括DeepID-2+、FaceNet和DeepFace。
• 范围损失的引入使模型能有效学习50%最不频繁身份的特征，其性能相比基线提升0.43个百分点。
• 该方法展现出强大的泛化能力，在不同网络架构和数据规模下均保持高性能。