[论文解读] Why distillation helps: a statistical perspective

Aditya Krishna Menon, Ankit Singh Rawat+3 more|arXiv (Cornell University)|May 21, 2020

Machine Learning and Algorithms参考文献 56被引用 16

一句话总结

本文从统计角度分析知识蒸馏，表明通过蒸馏教师模型的贝叶斯类别概率可降低学生模型泛化过程中的偏差与方差。本文提出双蒸馏方法用于多类别检索，通过软化教师模型的logits对负样本标签进行加权，从而提升排序性能，优于标准蒸馏和one-hot训练。

ABSTRACT

Knowledge distillation is a technique for improving the performance of a simple "student" model by replacing its one-hot training labels with a distribution over labels obtained from a complex "teacher" model. While this simple approach has proven widely effective, a basic question remains unresolved: why does distillation help? In this paper, we present a statistical perspective on distillation which addresses this question, and provides a novel connection to extreme multiclass retrieval techniques. Our core observation is that the teacher seeks to estimate the underlying (Bayes) class-probability function. Building on this, we establish a fundamental bias-variance tradeoff in the student's objective: this quantifies how approximate knowledge of these class-probabilities can significantly aid learning. Finally, we show how distillation complements existing negative mining techniques for extreme multiclass retrieval, and propose a unified objective which combines these ideas.

研究动机与目标

• 理解知识蒸馏为何能超越经验准确率提升模型泛化能力。
• 形式化教师估计的贝叶斯类别概率在降低学生预测误差中的作用。
• 通过引入双蒸馏目标，将蒸馏方法扩展至多类别检索任务，以改善标签排序性能。
• 通过在图像分类与多标签检索基准上的实证评估，验证统计理论的有效性。

提出的方法

• 作者将教师模型建模为真实贝叶斯类别概率函数的估计器，以偏差与方差量化其近似误差。
• 推导出偏差-方差权衡关系，将教师概率估计的质量与学生泛化误差关联起来。
• 针对多类别检索任务，提出双蒸馏方法：利用教师模型的logits对学生模型的softmax损失中的负样本logits进行平滑，从而实现更优的排序效果。
• 双蒸馏目标通过引入温度缩放并软化负样本logits，对标准蒸馏损失进行修改，从而提升排序指标。
• 实证验证采用ResNets在CIFAR-100上的实验，以及前馈网络在AmazonCat-13K与Amazon-670K上的实验，比较one-hot、标准蒸馏与双蒸馏方法。
• 通过precision@k、log-loss与校准误差等指标评估性能，以衡量泛化能力与概率估计质量。

实验结果

研究问题

• RQ1 蒸馏为何能超越准确率提升模型泛化能力？其背后的统计机制是什么？
• RQ2 教师估计的类别概率质量与学生泛化误差之间存在何种关系？
• RQ3 能否有效将蒸馏方法扩展至多类别检索任务，其中目标是实现标签的最优排序？
• RQ4 通过软化logits对负样本进行加权的双蒸馏方法，是否能带来优于标准蒸馏的检索性能？

主要发现

• 在CIFAR-100上，当教师模型深度超过14时，尽管教师准确率继续上升，但学生模型的准确率开始下降，原因在于概率校准恶化与log-loss升高。
• 最优教师模型在深度14时达到对贝叶斯类别概率分布的最佳近似，此时概率估计的MSE最小，学生泛化能力最强。
• 在合成数据集上，深度为8的教师模型在估计$p^*$时达到最低MSE，且对应的学生模型AUC最高，验证了偏差-方差权衡关系。
• 在AmazonCat-13K上，双蒸馏将P@1提升至0.8560，超过教师模型的P@1（0.8495），表明蒸馏后的学生模型可超越教师模型。
• 在Amazon-670K上，双蒸馏实现P@1为0.3480，较学生基线（0.3307）提升0.0173，表明在大规模检索任务中具有稳定增益。
• 与标准蒸馏相比，双蒸馏在P@1与P@3上均有显著提升，证实软化负样本logits可有效增强排序质量。