[论文解读] MultiFace: A Generic Training Mechanism for Boosting Face Recognition Performance

Jing Xu, Tszhang Guo+3 more|arXiv (Cornell University)|Jan 25, 2021

Face recognition and analysis参考文献 27被引用 4

一句话总结

本文提出 MultiFace，一种通用的训练机制，通过使用低维子空间的集成来近似高维特征，从而提升人脸识别性能。通过在这些子空间之间施加联合监督，该方法加速了收敛（使用 Softmax 时为 2–3 倍，使用 Arcface/Cosface 时为 1.2–1.5 倍），并提升了准确率，在 IJB-B/C 和 MegaFace 上实现了最先进性能，通过增强类内紧凑性和类间可分性实现。

ABSTRACT

Deep Convolutional Neural Networks (DCNNs) and their variants have been widely used in large scale face recognition(FR) recently. Existing methods have achieved good performance on many FR benchmarks. However, most of them suffer from two major problems. First, these methods converge quite slowly since they optimize the loss functions in a high-dimensional and sparse Gaussian Sphere. Second, the high dimensionality of features, despite the powerful descriptive ability, brings difficulty to the optimization, which may lead to a sub-optimal local optimum. To address these problems, we propose a simple yet efficient training mechanism called MultiFace, where we approximate the original high-dimensional features by the ensemble of low-dimensional features. The proposed mechanism is also generic and can be easily applied to many advanced FR models. Moreover, it brings the benefits of good interpretability to FR models via the clustering effect. In detail, the ensemble of these low-dimensional features can capture complementary yet discriminative information, which can increase the intra-class compactness and inter-class separability. Experimental results show that the proposed mechanism can accelerate 2-3 times with the softmax loss and 1.2-1.5 times with Arcface or Cosface, while achieving state-of-the-art performances in several benchmark datasets. Especially, the significant improvements on large-scale datasets(e.g., IJB and MageFace) demonstrate the flexibility of our new training mechanism.

研究动机与目标

• 解决深度人脸识别中常见的高维特征空间收敛缓慢和优化不佳的问题。
• 克服高维表示的表达能力（高维）与高维性带来的优化困难之间的权衡。
• 在不修改主干网络架构或损失函数的前提下，提升类内紧凑性和类间可分性。
• 开发一种通用、即插即用的训练机制，适用于多种人脸识别模型和损失函数。
• 通过低维子特征集成诱导的聚类效应，提升模型可解释性。

提出的方法

• 将高维人脸特征向量 x ∈ ℝ^d 划分为 N 个大小相等的子向量 x₁, x₂, ..., xₙ，每个子向量维度为 d/N。
• 在训练过程中对每个子向量应用独立的监督损失，实现所有 N 个子空间的联合优化。
• 在每个子向量上使用标准的人脸识别损失函数（例如 Softmax、Arcface、Cosface），同时共享相同的 CNN 主干网络。
• 在推理阶段，基于所有子向量组的联合决策计算特征向量之间的相似度。
• 利用子特征的互补性和判别性，提升特征分布质量。
• 确保该方法通用，兼容任意 CNN 主干网络和度量学习损失函数。

实验结果

研究问题

• RQ1 通过使用低维子空间的集成来近似高维特征空间，是否能提升人脸识别中的收敛速度？
• RQ2 MultiFace 机制是否能增强学习到的特征表示中的类内紧凑性和类间可分性？
• RQ3 MultiFace 在不同基准测试中，尤其是在 IJB-B/C 和 MegaFace 等大规模数据集上，能将识别准确率提升多少？
• RQ4 子空间数量（N）对模型性能和泛化能力有何影响？
• RQ5 MultiFace 机制能否有效应用于不同的损失函数（例如 Softmax、Arcface、Cosface）和主干网络架构？

主要发现

• 使用 Softmax 损失时，MultiFace 将训练速度加快了 2–3 倍；使用 Arcface 或 Cosface 时，加快了 1.2–1.5 倍，这是由于低维子空间中优化动态的改善。
• 在 IJB-B 数据集上，Multi-Arcface（N=2）在 FAR=10% 时 TAR 提升 0.93%，达到 95.13%，优于原始 Arcface。
• 在 IJB-C 上，Multi-Arcface 将 TAR@FAR=10% 提升至 96.38%，创下新的最先进性能记录。
• 在优化后的 MegaFace1 数据集上，Multi-Cosface 达到 Rank-1 准确率 98.62% 和 TAR 98.85%，优于原始 Cosface，树立了新基准。
• 在使用相同 ResNet-100 主干网络的优化后 MegaFace1 数据集上，Multi-Arcface 将 Rank-1 准确率从 98.35% 提升至 98.44%，TAR 从 98.48% 提升至 98.72%。
• 该方法展现出强大的泛化能力，在 LFW、CALFW、CPLFW、IJB-B/C 和 MegaFace 上均达到最先进性能，且在所有基准测试中均保持一致的性能提升。