[论文解读] One-shot Face Recognition by Promoting Underrepresented Classes

Yandong Guo, Lei Zhang|arXiv (Cornell University)|Jul 18, 2017

Face recognition and analysis参考文献 30被引用 103

一句话总结

该论文通过在大规模人脸识别的训练数据不平衡问题上添加分类向量中心的余弦相似度（CCS）损失来学习鲁棒特征，并引入下采样类别提升（UP）损失以在多项式逻辑回归中提升一-shot 类别。

ABSTRACT

In this paper, we study the problem of training large-scale face identification model with imbalanced training data. This problem naturally exists in many real scenarios including large-scale celebrity recognition, movie actor annotation, etc. Our solution contains two components. First, we build a face feature extraction model, and improve its performance, especially for the persons with very limited training samples, by introducing a regularizer to the cross entropy loss for the multi-nomial logistic regression (MLR) learning. This regularizer encourages the directions of the face features from the same class to be close to the direction of their corresponding classification weight vector in the logistic regression. Second, we build a multi-class classifier using MLR on top of the learned face feature extraction model. Since the standard MLR has poor generalization capability for the one-shot classes even if these classes have been oversampled, we propose a novel supervision signal called underrepresented-classes promotion loss, which aligns the norms of the weight vectors of the one-shot classes (a.k.a. underrepresented-classes) to those of the normal classes. In addition to the original cross entropy loss, this new loss term effectively promotes the underrepresented classes in the learned model and leads to a remarkable improvement in face recognition performance. We test our solution on the MS-Celeb-1M low-shot learning benchmark task. Our solution recognizes 94.89% of the test images at the precision of 99\% for the one-shot classes. To the best of our knowledge, this is the best performance among all the published methods using this benchmark task with the same setup, including all the participants in the recent MS-Celeb-1M challenge at ICCV 2017.

研究动机与目标

• 在训练数据在身份之间高度不平衡（包括一-shot 类别）的情况下，推动鲁棒的人脸表征学习。
• 开发一个正则化的交叉熵目标以促进判别性特征方向。
• 引入 UP 损失以使一-shot 类别的权重范数与基础类别对齐，从而获得更好的泛化。
• 提供两阶段评估：从基础集合学习强特征提取器，以及为基础和低样本类别提升的分类器。
• 发布一个可重复的基准测试，包含基础集和低样本集，以促进一-shot 人脸识别研究。

提出的方法

• 使用经过训练的 ResNet-34 特征提取器，其损失结合标准交叉熵和 CCS 项，使特征方向与相应类别权重向量对齐。
• CCS 损失计算样本特征与其类别权重向量之间的余弦相似度，以鼓励方向对齐。
• 在 Softmax 分类器中去除偏置项，以清晰地刻画决策空间的几何结构。
• 在学习到的特征之上训练一个多项逻辑回归分类器；在一-shot 类别上，由于类别分区较小，标准 MLR 表现下降。
• 引入 UP 损失，惩罚基础类与低样本类权重向量的均方范数之间的平方差，促使弱势类别获得更大、更加均衡的类别分区。
• 将 UP 与替代先验（l2 范数惩罚、等范数约束）进行比较，以评估其有效性。

实验结果

研究问题

• RQ1 一个角度正则化器（CCS）是否能提升不平衡人脸数据集的判别特征学习？
• RQ2 促进弱势类别权重范数（UP 损失）是否在不损害基础类别表现的前提下提升一-shot 类别识别？
• RQ3 CCS 与 UP 如何与标准交叉熵相互作用以提升大规模人脸基准上的一-shot 学习？
• RQ4 训练数据不平衡对人脸识别中 MLR 权重范数和类别决策边界有何影响？
• RQ5 提出的两阶段方法在 MS-Celeb-1M 低样本基准上相比基线表现如何？

主要发现

方法	C@ 99%	C@ 99.9%
固定特征	25.65%	0.89%
SGM [8]	27.23%	4.24%
更新特征	26.09%	0.97%
直接训练	15.25%	0.84%
收缩范数（Eq.12）	32.58%	2.11%
等范数（Eq.13）	32.56%	5.18%
仅 UP（Eq.10）	77.48%	47.53%
仅 CCS（Eq.4）	62.55%	11.13%
我们的：CCS（4）+ UP（10）	94.89%	83.60%
Hybrid [28]	92.64%	N/A
Doppelganger [19]	73.86%	N/A
Generation-based [3]	61.21%	N/A

• 有 CCS 时，LFW 验证准确率提升至 99.71%（相较基线的 CCS 损失变体为 99.28%），表明特征判别性更强。
• 将 UP 与 CCS 结合，在低样本测试图像上达到 99% 精度时的覆盖率为 94.89%，在 99.9% 精度时为 83.60%，超越所有列出的替代方案。
• 若没有 UP 项，在标准 MLR 下，99% 精度的低样本覆盖率降至 25.65%，凸显一-shot 学习挑战。
• 表 4 显示在同一设置下，CCS+UP 在 MS-Celeb-1M 低样本基准上实现最佳的一 shot 性能：在 99% 精度时为 94.89%，在 99.9% 精度时为 83.60%。
• 基础集的表现仍然很高（在他们的设置中 Top-1 为 99.8%），同时提升了低样本的识别率。
• 所提出的方法确立了一个可重复的基准，并在基线和若干替代正则化策略上显示出显著提升。