[论文解读] Quantifying the Knowledge in a DNN to Explain Knowledge Distillation for Classification

Quanshi Zhang, Xu Cheng+2 more|arXiv (Cornell University)|Aug 18, 2022

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

本文提出了一种新颖的信息论框架，用于量化知识点——即在深度神经网络（DNN）各层中被保留下来的判别性输入单元——以解释知识蒸馏（KD）为何优于从零开始训练。通过测量知识点的数量、质量、学习同步性以及优化稳定性，作者证明知识蒸馏使DNN能够编码更多与任务相关的知识点，实现更同步的学习过程，并在图像、自然语言处理（NLP）和3D点云分类任务中实现更稳定的优化。

ABSTRACT

Compared to traditional learning from scratch, knowledge distillation sometimes makes the DNN achieve superior performance. This paper provides a new perspective to explain the success of knowledge distillation, i.e., quantifying knowledge points encoded in intermediate layers of a DNN for classification, based on the information theory. To this end, we consider the signal processing in a DNN as the layer-wise information discarding. A knowledge point is referred to as an input unit, whose information is much less discarded than other input units. Thus, we propose three hypotheses for knowledge distillation based on the quantification of knowledge points. 1. The DNN learning from knowledge distillation encodes more knowledge points than the DNN learning from scratch. 2. Knowledge distillation makes the DNN more likely to learn different knowledge points simultaneously. In comparison, the DNN learning from scratch tends to encode various knowledge points sequentially. 3. The DNN learning from knowledge distillation is often optimized more stably than the DNN learning from scratch. In order to verify the above hypotheses, we design three types of metrics with annotations of foreground objects to analyze feature representations of the DNN, extit{i.e.} the quantity and the quality of knowledge points, the learning speed of different knowledge points, and the stability of optimization directions. In experiments, we diagnosed various DNNs for different classification tasks, i.e., image classification, 3D point cloud classification, binary sentiment classification, and question answering, which verified above hypotheses.

研究动机与目标

• 通过分析中间层表征，解释知识蒸馏的成功原因，超越正则化或标签平滑的解释范围。
• 解决在训练过程中知识在深度神经网络中如何被编码与保留的定量理解不足的问题。
• 提出一种基于信息论的新理论视角——知识点量化，用于分析表征学习的动力学过程。
• 验证知识蒸馏相较于从零开始训练，能提升知识编码效率、同步性以及优化稳定性。

提出的方法

• 将知识点定义为在DNN前向传播过程中，其信息被丢弃程度低于其他输入单元的输入单元（如像素、词嵌入）。
• 提出三项度量指标：(1) 知识点数量与质量（通过前景标注实现），(2) 通过 $D_{\textrm{mean}}$ 和 $D_{\textrm{std}}$ 衡量学习同步性，(3) 通过 $\rho$ 衡量方向一致性以评估优化稳定性。
• 利用信息论信号处理方法，将DNN建模为逐层信息丢弃系统，识别出被保留的输入单元作为知识点。
• 在多种任务的DNN中间特征上应用这些度量：图像分类（CUB200-2011，Tiny ImageNet）、3D点云（ModelNet40）、自然语言处理（SST-2，QNLI）。
• 使用相同度量对比通过知识蒸馏训练的学生网络与从零开始训练的基线网络。
• 利用前景标注计算任务相关知识点的比例，评估表征质量。

实验结果

研究问题

• RQ1 与从零开始训练相比，知识蒸馏是否能保留更多被保存的、具有判别性的知识点？
• RQ2 知识蒸馏是否使学生网络能够同时学习多个知识点，而非顺序学习？
• RQ3 与从零开始训练相比，知识蒸馏是否带来更稳定的优化轨迹？
• RQ4 知识点量化能否解释在视觉、自然语言处理和3D学习等多样化分类任务中的性能提升？

主要发现

• 知识蒸馏能保留更多知识点：例如，在CUB200-2011数据集上，VGG-16从VGG-19蒸馏得到19.88个知识点（而从零开始训练仅15.29个）。
• 任务相关知识点的比例与分类准确率正相关：表征中前景知识点比例更高的DNN性能更优，例如VGG-19在蒸馏设置下为0.71，而从零开始训练为0.65。
• 知识蒸馏支持知识点的同步学习：学生网络在VGG-16上的 $D_{\textrm{mean}}$ 和 $D_{\textrm{std}}$ 分别为0.85和0.93，显著低于基线网络的3.46和40.31，表明学习更均衡。
• 知识蒸馏提升了优化稳定性：学生网络表现出更高的 $\rho$ 值（如0.32 vs. 0.27），表明优化路径更少出现偏离。
• 微调也受益于知识点动力学：微调后的VGG-16能更快学习新的前景知识点，并在过程中经历更少的临时信息丢弃，优于从零开始训练。
• 在浅层网络（如AlexNet、VGG-11）和高度判别性模型（如PointNet++）中出现失败案例，因这些模型的知识点动力学特征不明显。