[论文解读] Revisiting Self-Distillation

Minh Pham, Minsu Cho+2 more|arXiv (Cornell University)|Jun 17, 2022

Generative Adversarial Networks and Image Synthesis被引用 14

一句话总结

本文研究了深度学习中的自蒸馏，表明即使教师模型准确度极高，自蒸馏仍能使学生模型在测试准确度上超越教师。作者证明自蒸馏可使损失曲面的极小值区域更平坦，从而为泛化性能的提升提供了几何解释，并通过识别多视角假说中的矛盾，挑战了现有理论解释。

ABSTRACT

Knowledge distillation is the procedure of transferring "knowledge" from a large model (the teacher) to a more compact one (the student), often being used in the context of model compression. When both models have the same architecture, this procedure is called self-distillation. Several works have anecdotally shown that a self-distilled student can outperform the teacher on held-out data. In this work, we systematically study self-distillation in a number of settings. We first show that even with a highly accurate teacher, self-distillation allows a student to surpass the teacher in all cases. Secondly, we revisit existing theoretical explanations of (self) distillation and identify contradicting examples, revealing possible drawbacks of these explanations. Finally, we provide an alternative explanation for the dynamics of self-distillation through the lens of loss landscape geometry. We conduct extensive experiments to show that self-distillation leads to flatter minima, thereby resulting in better generalization.

研究动机与目标

• 系统性地在多个基准和设置下研究自蒸馏，以理解其性能提升的一致性。
• 通过识别矛盾的实证证据，评估并挑战知识蒸馏的现有理论解释，特别是多视角假说。
• 基于损失曲面几何，提出并验证一种替代解释，聚焦于极小值的平坦度，以解释自蒸馏的成功。
• 研究自蒸馏是否通过与更平坦极小值相关的正则化效应实现泛化性能的提升。

提出的方法

• 在标准图像分类基准（如CIFAR-10、CIFAR-100、SVHN）上进行大量实验，采用ResNet和VGG架构，比较教师模型与自蒸馏学生模型的性能。
• 通过测量Hessian矩阵的迹和最大特征值，量化教师与学生模型在损失曲面中极小值的平坦度。
• 利用损失曲面的等高线可视化，定性比较教师模型与自蒸馏学生模型之间极小值的几何特性。
• 采用温度缩放的交叉熵损失进行知识蒸馏，使学生在每轮蒸馏中学习匹配教师模型的软标签。
• 通过消融研究分析蒸馏轮数及超参数（如温度τ和蒸馏权重α）对模型性能及损失曲面特性的影响。
• 将自蒸馏模型与基线模型集成及BAN（蒸馏模型集合）进行比较，以评估多样性与模型相似性在性能提升中的作用。

实验结果

研究问题

• RQ1 即使教师模型准确度极高，自蒸馏是否能持续提升测试准确度？
• RQ2 现有理论解释（如多视角假说）是否能完全解释自蒸馏的成功？
• RQ3 损失曲面是否存在某种几何特性——特别是极小值的平坦度——可解释为何自蒸馏模型泛化性能更优？
• RQ4 损失曲面在蒸馏轮次间如何变化？与教师相比，其平坦度是否提升？
• RQ5 模型相似性（logit差异）与自蒸馏中性能提升之间的关系是什么？

主要发现

• 即使教师模型准确度极高（如在SVHN上达到95.23%），自蒸馏学生模型仍可实现95.94%的测试准确度，超越教师模型。
• 自蒸馏学生模型在损失曲面中表现出更平坦的极小值，表现为Hessian矩阵的迹和最大特征值均低于教师模型。
• 损失曲面的等高线可视化证实，学生模型的极小值比教师更平坦且更具泛化性，尤其在多轮蒸馏后更为明显。
• 实证结果与多视角假说相矛盾：自蒸馏并未持续促使模型学习数据的新视角或特征，挑战了该假说作为主要解释的有效性。
• 随着蒸馏轮次的增加，学生与教师模型logit之间的差异减小，表明模型相似性提高，但性能仍持续提升，暗示相似性并非成功的主要驱动因素。
• 结果支持蒸馏通过平坦化损失曲面起到正则化作用的假设，该结论与浅层模型中的理论发现一致，可解释泛化性能的提升。