[论文解读] Reducing the Teacher-Student Gap via Spherical Knowledge Disitllation

Jia Guo, Minghao Chen+4 more|arXiv (Cornell University)|Oct 15, 2020

Advanced Neural Network Applications参考文献 25被引用 11

一句话总结

该论文提出了球面知识蒸馏（Spherical Knowledge Distillation, SKD），通过将教师模型和学生模型的logits归一化至单位球面上，消除了大型教师模型因过度自信预测而引起的置信度差距。SKD仅关注logits的方向性知识而非其大小，显著减少了欠拟合现象，在使用ResNet50蒸馏得到的ResNet18上实现了73.0%的ImageNet top-1准确率，与更大的ResNet34性能相当，并且对温度超参数具有鲁棒性。

ABSTRACT

Knowledge distillation aims at obtaining a compact and effective model by learning the mapping function from a much larger one. Due to the limited capacity of the student, the student would underfit the teacher. Therefore, student performance would unexpectedly drop when distilling from an oversized teacher, termed the capacity gap problem. We investigate this problem by study the gap of confidence between teacher and student. We find that the magnitude of confidence is not necessary for knowledge distillation and could harm the student performance if the student are forced to learn confidence. We propose Spherical Knowledge Distillation to eliminate this gap explicitly, which eases the underfitting problem. We find this novel knowledge representation can improve compact models with much larger teachers and is robust to temperature. We conducted experiments on both CIFAR100 and ImageNet, and achieve significant improvement. Specifically, we train ResNet18 to 73.0 accuracy, which is a substantial improvement over previous SOTA and is on par with resnet34 almost twice the student size. The implementation has been shared at https://github.com/forjiuzhou/Spherical-Knowledge-Distillation.

研究动机与目标

• 为了解决知识蒸馏中的容量差距问题，即学生模型因教师模型过度自信预测而出现欠拟合。
• 探究大型教师模型中置信度大小（logits范数）是否在蒸馏过程中损害学生模型性能。
• 提出一种将知识蒸馏与置信度大小解耦的方法，仅关注logits方向相似性。
• 提升紧凑学生模型在从极大型教师模型蒸馏时的泛化能力和训练稳定性。
• 减少知识蒸馏中对温度超参数调优的依赖。

提出的方法

• 球面知识蒸馏（SKD）将教师和学生模型的logits归一化为单位长度，将其投影到同一球面上。
• 该方法消除了学生模型学习教师置信度大小的需求，仅关注logits的方向。
• SKD使用归一化logits（单位向量）之间的交叉熵损失，其代表类别概率的方向。
• 该方法与标准知识蒸馏框架兼容，仅需极少的网络结构修改即可应用。
• 通过消除对范数的学习，SKD释放了模型容量，使其能更好地拟合方向性知识，从而提升泛化能力。
• 该方法对温度缩放具有鲁棒性，因为归一化本身控制了软性程度，无需依赖温度参数。

实验结果

研究问题

• RQ1 大型教师模型中的置信度大小是否在知识蒸馏过程中对学生成绩产生负面影响？
• RQ2 若无需学习置信度大小，教师与学生之间的容量差距是否能减小？
• RQ3 当仅关注logits方向而非其大小时，知识蒸馏是否更有效？
• RQ4 当使用ResNet152等极大型教师模型时，SKD相较于标准KD表现如何？
• RQ5 SKD是否对温度超参数调优具有鲁棒性，而标准KD则不具备？

主要发现

• 使用从ResNet50蒸馏得到的ResNet18，SKD在ImageNet上实现了73.0%的top-1准确率，与更大的ResNet34性能相当。
• 当教师模型为ResNet152时，SKD实现了72.70%的top-1准确率，显著优于基线方法。
• 在使用超大教师模型时，SKD比KD更有效地降低训练和测试损失，表明其优化和泛化能力更强。
• 在大型教师模型下，SKD的归一化logits差异（MSE损失）显著低于KD，表明其更精确地捕捉了知识方向。
• SKD在广泛温度值范围内表现稳定，而标准KD在最优范围外性能急剧下降。
• SKD消除了范数拟合误差，使学生模型可完全专注于学习知识的方向结构，从而提升性能。