[论文解读] Understanding and Improving Knowledge Distillation

Jiaxi Tang, Rakesh Shivanna+5 more|arXiv (Cornell University)|Feb 10, 2020

Machine Learning and Data Classification参考文献 39被引用 89

一句话总结

该论文将知识蒸馏（KD）分解为三个分层效应——通用标签平滑、类别关系的领域知识，以及实例特定梯度重新缩放，并提出部分KD方法以隔离并验证每种效应，在合成数据集和真实数据集上进行了广泛的实证验证。

ABSTRACT

Knowledge Distillation (KD) is a model-agnostic technique to improve model quality while having a fixed capacity budget. It is a commonly used technique for model compression, where a larger capacity teacher model with better quality is used to train a more compact student model with better inference efficiency. Through distillation, one hopes to benefit from student's compactness, without sacrificing too much on model quality. Despite the large success of knowledge distillation, better understanding of how it benefits student model's training dynamics remains under-explored. In this paper, we categorize teacher's knowledge into three hierarchical levels and study its effects on knowledge distillation: (1) knowledge of the `universe', where KD brings a regularization effect through label smoothing; (2) domain knowledge, where teacher injects class relationships prior to student's logit layer geometry; and (3) instance specific knowledge, where teacher rescales student model's per-instance gradients based on its measurement on the event difficulty. Using systematic analyses and extensive empirical studies on both synthetic and real-world datasets, we confirm that the aforementioned three factors play a major role in knowledge distillation. Furthermore, based on our findings, we diagnose some of the failure cases of applying KD from recent studies.

研究动机与目标

• 将KD分解为三种知识来源：通用标签平滑、领域类别关系先验，以及实例特定的梯度重新缩放。
• 提供理论分析，解释这些效应如何改善学生模型的训练和泛化。
• 提出部分KD技术以隔离并验证每种效应。
• 在合成数据集和真实世界数据集上进行经验验证，并诊断KD失败案例。

提出的方法

• 将KD与标签平滑和梯度重新缩放联系起来的理论分析，给出KD梯度的显式方程。
• 引入部分KD方法（KD-pt 和 KD-sim）以隔离梯度重新缩放和类别关系先验。
• 开发用于模拟部分效应的合成教师分布并测试它们对学习动力学的影响。
• 在 CIFAR-100、ImageNet 和 PTB 上进行实证评估，以比较 LS、KD 与部分 KD 变体。
• 分析类别相关性以及 top-k 概率保持（KD-topk）对蒸馏性能的影响。

实验结果

研究问题

• RQ1 KD 如何在超越标准标签平滑的情况下改善学生学习方面，存在哪些不同的机制？
• RQ2 通用、领域和实例特定的知识如何共同推动KD的有效性？
• RQ3 我们是否可以利用部分 KD 方法隔离并验证每个KD组成部分？
• RQ4 在何种数据条件下，KD 组件提供最大收益或导致失败？

主要发现

• KD 的收益来自三层知识：一种正则化效应（标签平滑）、领域知识（通过类别关系塑造对数几何）以及基于教师信心的实例特定梯度重新缩放。
• 部分 KD 方法（KD-pt 和 KD-sim）可以隔离这些效应，且组合时（KD-pt+sim）在某些数据集上可接近或超过标准 KD 的性能。
• 在合成数据上，当类别不相关时，KD-pt 处于主导地位；随着类别相关性增加，KD-sim 增加价值；将二者结合会带来进一步收益。
• 在 CIFAR-100 和 ImageNet 上，KD 通常提升学生性能超越 LS，其中 KD-topk 通过仅保留最具信息性的类别关系并降低噪声，常带来额外收益。
• 该研究指出在某些情形下，LS 可能因丧失类别关系信息和地真分布偏斜而阻碍 KD，提供对 KD 失败的诊断性指导。