[论文解读] ProxylessKD: Direct Knowledge Distillation with Inherited Classifier for Face Recognition

Weidong Shi, Guanghui Ren+2 more|arXiv (Cornell University)|Oct 31, 2020

Face recognition and analysis参考文献 29被引用 4

一句话总结

该论文提出了一种名为ProxylessKD的面部识别知识蒸馏方法，通过直接继承教师模型的分类器作为学生模型的固定分类器，直接优化面部识别准确率。通过该继承分类器将学生模型的嵌入空间与教师模型对齐，ProxylessKD能够有效利用大 margin 损失函数，并在多个基准测试中取得最先进性能，优于以往的蒸馏方法（包括L2KD）。

ABSTRACT

Knowledge Distillation (KD) refers to transferring knowledge from a large model to a smaller one, which is widely used to enhance model performance in machine learning. It tries to align embedding spaces generated from the teacher and the student model (i.e. to make images corresponding to the same semantics share the same embedding across different models). In this work, we focus on its application in face recognition. We observe that existing knowledge distillation models optimize the proxy tasks that force the student to mimic the teacher's behavior, instead of directly optimizing the face recognition accuracy. Consequently, the obtained student models are not guaranteed to be optimal on the target task or able to benefit from advanced constraints, such as large margin constraints (e.g. margin-based softmax). We then propose a novel method named ProxylessKD that directly optimizes face recognition accuracy by inheriting the teacher's classifier as the student's classifier to guide the student to learn discriminative embeddings in the teacher's embedding space. The proposed ProxylessKD is very easy to implement and sufficiently generic to be extended to other tasks beyond face recognition. We conduct extensive experiments on standard face recognition benchmarks, and the results demonstrate that ProxylessKD achieves superior performance over existing knowledge distillation methods.

研究动机与目标

• 解决现有知识蒸馏方法优化代理任务（如软标签匹配或激活一致性）而非实际面部识别准确率的局限性。
• 使学生模型能够受益于先进的大 margin 损失函数（如Arcface、Cosface），这些损失函数因分类器不匹配而无法与标准蒸馏兼容。
• 直接对齐学生与教师模型的嵌入空间，确保与真实世界面部识别流程的兼容性，其中图库嵌入是使用大模型提取的。
• 开发一种简单、通用且高效的蒸馏框架，无需重新训练学生模型的分类器，且可轻松扩展至面部识别之外的应用。

提出的方法

• 学生模型的分类器初始化为教师模型的分类器权重，并在训练过程中保持固定，从而有效将教师模型的类别中心表示传递给学生模型。
• 学生网络被训练以生成与固定继承分类器对齐的嵌入，从而学习与教师模型一致的判别性嵌入空间。
• 该方法将学生模型的特征学习与大 margin 损失（如Arcface或Cosface）相结合，使学生模型能够受益于 margin 约束，从而提升类间分离度。
• 与仅最小化学生与教师嵌入之间L2距离的L2KD不同，ProxylessKD通过固定分类器联合优化类内紧凑性和类间 margin。
• 该框架具有通用性，无需架构更改；仅需权重初始化和冻结学生分类器。
• 该方法无需依赖软标签或中间特征匹配，即可实现直接的嵌入空间对齐，适用于真实世界部署场景，其中图库特征是从大模型中提取的。

实验结果

研究问题

• RQ1 能否通过直接优化目标任务（即面部识别准确率）而非代理目标（如软标签匹配或特征激活一致性），来改进面部识别中的知识蒸馏？
• RQ2 为何现有蒸馏方法无法从Arcface和Cosface等大 margin 损失函数中获益，且这一局限性是否可被克服？
• RQ3 将教师模型的分类器作为学生模型中的固定组件继承，是否能带来更好的嵌入空间对齐和更高的识别性能？
• RQ4 在单模型和多模型评估模式下，ProxylessKD在多个标准基准测试中的性能与L2KD及其他蒸馏基线相比如何？

主要发现

• 在CFP-FP数据集上，ProxylessKD在多模型模式下达到95.04%的验证准确率，比L2KD高出0.74%，并在所有基准测试中均表现出一致的性能提升。
• 在IJB-C数据集上，FAR=1e-6时，ProxylessKD-m达到87.90%的Top-1识别准确率，较学生基线提升10.5%，较L2KD-m提升1.03%。
• 在MegaFace数据集上，ProxylessKD-m达到95.80%的Rank-1准确率（较L2KD-m高出1.03%），证实其在大规模、复杂识别任务中的优越性。
• 在IJB-B数据集上，ProxylessKD-m在FAR=1e-6时达到93.36%的验证TAR（等效于12.5%的性能提升，较学生基线高出12.5%，较L2KD-s高出2.5%），表现出强大的泛化能力。
• ProxylessKD-m在所有数据集中均持续优于ProxylessKD-s，证实使用大教师模型进行多模型融合可显著提升性能。
• 性能提升归因于有效的嵌入空间对齐以及利用大 margin 约束的能力，而L2KD因分类器不匹配而无法利用此类约束。