[论文解读] SphereFace2: Binary Classification is All You Need for Deep Face Recognition

Yandong Wen, Weiyang Liu+3 more|arXiv (Cornell University)|Aug 3, 2021

Face recognition and analysis参考文献 42被引用 26

一句话总结

SphereFace2 将基于 softmax 的多类训练替换为在高维单位球面的二分类一对多框架，在开放集人脸识别上提升，并在若干基准上达到最先进结果。

ABSTRACT

State-of-the-art deep face recognition methods are mostly trained with a softmax-based multi-class classification framework. Despite being popular and effective, these methods still have a few shortcomings that limit empirical performance. In this paper, we start by identifying the discrepancy between training and evaluation in the existing multi-class classification framework and then discuss the potential limitations caused by the "competitive" nature of softmax normalization. Motivated by these limitations, we propose a novel binary classification training framework, termed SphereFace2. In contrast to existing methods, SphereFace2 circumvents the softmax normalization, as well as the corresponding closed-set assumption. This effectively bridges the gap between training and evaluation, enabling the representations to be improved individually by each binary classification task. Besides designing a specific well-performing loss function, we summarize a few general principles for this "one-vs-all" binary classification framework so that it can outperform current competitive methods. Our experiments on popular benchmarks demonstrate that SphereFace2 can consistently outperform state-of-the-art deep face recognition methods. The code has been made publicly available.

研究动机与目标

• 识别 softmax 基于多类训练在开放集面部识别中的局限性。
• 提出在高维单位球面上的二分类一对多训练框架（SphereFace2）。
• 推导一个包含实用组件的原理性损失函数（平衡、易难样本挖掘、角度边距、相似度调整）。
• 在标准 FR 基准上展示改进的性能和鲁棒性。
• 展示在大身份集合的多GPU训练中的可扩展性优势。

提出的方法

• 构建 K 个二元分类器（每个身份一个），将目标类别的数据视为阳性，其他全部为阴性（一对多）。
• 在单位高维球面上进行二分类，通过对特征和分类器进行归一化，使用 x 与 W_i 的余弦相似度。
• 提出一个损失 L，结合正负项，具有可调的平衡系数 λ、基于角度的边距 m_p 和 m_n，以及一个偏置 b 来稳定训练。
• 引入一个相似度调整 g(cos θ) = 2((cos θ + 1)/2)^t − 1，以拓宽相似度分布并减少正/负重叠。
• 加入一个角度边距（双边，含 m_p、m_n）和可选偏置，以维持一个普适的决策边界，得到以单一最终形式表达的 L。
• 讨论正负平衡、困难/易样本挖掘、边距选择等原理性设计，并进行经验验证和消融实验。
• 突出由于解耦的二元分类器，拥有高效的多GPU并行化，避免 softmax 归一化开销。

实验结果

研究问题

• RQ1 高斯 SphereFace2 在高维单位球面上的二元一对多框架能否达到或优于基于 softmax 的多类 FR 方法？
• RQ2 去除 softmax 的封闭集偏差是否会提升开放集泛化能力和对标签噪声的鲁棒性？
• RQ3 哪些损失设计原则（平衡、挖掘、角度边距、相似度调整）最能提升二元 FR 的性能？
• RQ4 SphereFace2 在多GPU训练下如何随身份集合的增大而扩展？
• RQ5 与最先进的损失相比，SphereFace2 在标准 FR 基准上取得了哪些经验性提升？

主要发现

• SphereFace2 在标准基准上对比最先进 softmax 基损失，验证准确率持续更高。
• 消融显示正负平衡、难样本挖掘、角度边距和相似度调整各自对性能提升有贡献。
• 包含所有组件（λ、r、m、t）的最终损失在综合分数上达到最佳结果（例如表2的综合验证得分 94.28%）。
• 二元代理对比训练使得跨GPU自然并行化，无需 softmax 交叉通信开销。
• 相似度调整的余弦映射扩大相似度的动态范围，减少正/负重叠，提升泛化能力。
• SphereFace2 在大规模基准（IJB-B、IJB-C、MegaFace）上显示出强劲性能，具有竞争力的 TAR/TPIR 指标。