[论文解读] Towards Understanding Knowledge Distillation

Mary Phuong, Christoph H. Lampert|arXiv (Cornell University)|May 27, 2021

Machine Learning and Algorithms被引用 133

一句话总结

该论文对线性和深线性模型的知识蒸馏进行了理论分析，证明了快速泛化并识别出三个关键因素——数据几何、优化偏差，以及强单调性——驱动转移性能。

ABSTRACT

Knowledge distillation, i.e., one classifier being trained on the outputs of another classifier, is an empirically very successful technique for knowledge transfer between classifiers. It has even been observed that classifiers learn much faster and more reliably if trained with the outputs of another classifier as soft labels, instead of from ground truth data. So far, however, there is no satisfactory theoretical explanation of this phenomenon. In this work, we provide the first insights into the working mechanisms of distillation by studying the special case of linear and deep linear classifiers. Specifically, we prove a generalization bound that establishes fast convergence of the expected risk of a distillation-trained linear classifier. From the bound and its proof we extract three key factors that determine the success of distillation: * data geometry -- geometric properties of the data distribution, in particular class separation, has a direct influence on the convergence speed of the risk; * optimization bias -- gradient descent optimization finds a very favorable minimum of the distillation objective; and * strong monotonicity -- the expected risk of the student classifier always decreases when the size of the training set grows.

研究动机与目标

• 激励并分析知识蒸馏，超越经验观察。
• 推导一个泛化界限，展示蒸馏训练的线性分类器的快速收敛。
• 识别并解释决定蒸馏成败的三个因素：数据几何、优化偏差，以及强单调性。
• 当 n >= d 时，证明蒸馏在有限样本下能够恢复教师的权重。

提出的方法

• 用线性教师和线性学生（直接或深线性网络）建模蒸馏设置。
• 在教师输出的 sigmoid 产出上使用极小梯度流训练学生对软标签的拟合。
• 推导学生端到端权重在梯度流下的闭式渐近解。
• 证明迁移风险界限，当 n >= d 时风险为零，当 n < d 时给出与分布相关的界限。
• 引入几何量（w* 与数据之间的夹角）来界定迁移风险。
• 讨论数据几何、优化偏差和单调性如何影响学习动力学和转移效率。

实验结果

研究问题

• RQ1 在何种条件下，蒸馏训练的线性学生能够用有限样本恢复教师的权重？
• RQ2 学生对软标签的学习速度有多快，数据几何如何影响转移风险？
• RQ3 优化动态和数据分布在蒸馏成功中的作用是什么？
• RQ4 增加训练数据如何影响线性蒸馏中的转移风险（单调性）？

主要发现

• 如果 n >= d，学生以概率 1（几乎必然）完美识别教师的权向量。
• 当 n < d 时，学生学习教师权重在数据张成的投影，即最佳子空间约束下的近似。
• 对于 n >= d，转移风险趋于零；当 n < d 时，风险被一个涉及 w* 与数据之间的夹角几何的分布相关表达式所界定。
• 对于大边界或数据分布对齐良好的情况，转移风险以指数衰减或以关于 n 的多项式界限的速率降落（推论 1 和 2）。
• 结果揭示三个关键因素：数据几何（类别分离与与 w* 的对齐）、优化偏差（梯度下降收敛到有利的极小值）、以及强单调性（增加数据从不增加转移风险）。
• 理论提供非空洞、有限样本保证，与传统的硬标签学习形成对比，包括快速收敛和明确的风险界限。