[论文解读] Support Vector Guided Softmax Loss for Face Recognition

Xiaobo Wang, Shuo Wang+4 more|arXiv (Cornell University)|Dec 29, 2018

Face recognition and analysis参考文献 38被引用 44

一句话总结

本文提出 SV-Softmax，一种聚焦支持向量（错误分类样本）的损失，融合基于挖掘的损失与基于边距的损失，在各基准上提升判别性人脸特征。

ABSTRACT

Face recognition has witnessed significant progresses due to the advances of deep convolutional neural networks (CNNs), the central challenge of which, is feature discrimination. To address it, one group tries to exploit mining-based strategies ( extit{e.g.}, hard example mining and focal loss) to focus on the informative examples. The other group devotes to designing margin-based loss functions ( extit{e.g.}, angular, additive and additive angular margins) to increase the feature margin from the perspective of ground truth class. Both of them have been well-verified to learn discriminative features. However, they suffer from either the ambiguity of hard examples or the lack of discriminative power of other classes. In this paper, we design a novel loss function, namely support vector guided softmax loss (SV-Softmax), which adaptively emphasizes the mis-classified points (support vectors) to guide the discriminative features learning. So the developed SV-Softmax loss is able to eliminate the ambiguity of hard examples as well as absorb the discriminative power of other classes, and thus results in more discrimiantive features. To the best of our knowledge, this is the first attempt to inherit the advantages of mining-based and margin-based losses into one framework. Experimental results on several benchmarks have demonstrated the effectiveness of our approach over state-of-the-arts.

研究动机与目标

• 推动提升人脸识别中的特征判别能力，超越传统 Softmax 损失。
• 开发一种在语义层面识别并强调误分类样本（支持向量）的损失。
• 将基于挖掘的损失与基于边距的损失的优势整合到一个统一框架中。
• 分析与现有损失的关系并在标准基准上评估性能。

提出的方法

• 定义一个二元支持向量指示器 I_k，用于标记被错误分类的类别分数。
• 提出 SV-Softmax 损失：L_5 = -log[ exp(s cos(theta_w_y,x)) / ( exp(s cos(theta_w_y,x)) + sum_{k≠y} h(t, cos(theta_w_k,x), I_k) exp(s cos(theta_w_k,x)) ) ]，其中 h(t,·) = exp(s(t-1)(cos(theta_w_k,x) + 1) I_k)。
• I_k = 0 当 cos(theta_w_y,x) - cos(theta_w_k,x) ≥ 0；I_k = 1 否则。
• 证明 t=1 能还原标准 Softmax，且更大的 t 能强调更难的（支持向量）情况。
• 通过使用基于边距的判定边界来确定 I_k 将扩展为 SV-X-Softmax（t），它使用 f(m, theta) 边界。
• 提供基于梯度的优化方程和用于端到端训练的 SGD 训练流程。

实验结果

研究问题

• RQ1 一个明确针对误分类点（支持向量）的损失，是否能在人脸识别中超越传统的基于挖掘的损失（如 F-Softmax）和基于边距的损失（如 Arc-/AM-/A-Softmax）？
• RQ2 将基于挖掘和基于边距的动机结合到单一的 SV-Softmax 框架中，是否会产生更优越的判别特征？
• RQ3 与在标准基准（LFW、MegaFace、Trillion Pairs）上对挖掘与边距损失的简单融合相比，SV-Softmax 的表现如何？

主要发现

• SV-Softmax 定义了一个基于显式支持向量的关注点，在语义上强调误分类样本。
• 在 MegaFace 和 Trillion Pairs 基准上，SV-Softmax 常常超过基线 Softmax 和若干基于挖掘的损失。
• 改进变体 SV-Arc-Softmax 与 SV-AM-Softmax 相较于非 SV 版本显示出有竞争力或更优的结果。
• 在 MegaFace 和 Trillion Pairs 上，SV-AM-Softmax 对多家竞争对手取得显著提升，在使用 SV-X-Softmax 风格的边距时取得更大提升。
• LFW 的结果比强基线有适度提升，在更具挑战性的基准中观察到更大的改进。