[论文解读] Stagewise Knowledge Distillation

Akshay Kulkarni, Navid Panchi+1 more|arXiv (Cornell University)|Nov 15, 2019

Advanced Neural Network Applications参考文献 22被引用 3

一句话总结

本文提出渐进式知识蒸馏（Stagewise Knowledge Distillation, SKD），一种数据高效的知识蒸馏方法，通过分阶段逐步训练学生模型，逐步利用教师模型的知识。SKD仅使用少量训练数据即实现显著的性能提升，优于现有知识蒸馏方法，同时与剪枝、量化等其他压缩技术兼容。

ABSTRACT

Despite the success of Deep Learning (DL), the deployment of modern DL models requiring large computational power poses a significant problem for resource-constrained systems. This necessitates building compact networks that reduce computations while preserving performance. Traditional Knowledge Distillation (KD) methods that transfer knowledge from teacher to student (a) use a single-stage and (b) require the whole data set while distilling the knowledge to the student. In this work, we propose a new method called Stagewise Knowledge Distillation (SKD) which builds on traditional KD methods by progressive stagewise training to leverage the knowledge gained from the teacher, resulting in data-efficient distillation process. We evaluate our method on classification and semantic segmentation tasks. We show, across the tested tasks, significant performance gains even with a fraction of the data used in distillation, without compromising on the metric. We also compare our method with existing KD techniques and show that SKD outperforms them. Moreover, our method can be viewed as a generalized model compression technique that complements other model compression methods such as quantization or pruning.

研究动机与目标

• 解决传统知识蒸馏效率低下的问题，其需要完整数据集和单阶段训练。
• 在保持或提升学生模型性能的前提下，减少蒸馏过程中的数据需求。
• 开发一种渐进式训练策略，使学生模型能从教师模型中逐步学习。
• 构建一个与现有技术（如量化和剪枝）兼容的通用模型压缩框架。

提出的方法

• 引入一种分阶段训练范式，将知识蒸馏过程划分为多个逐步推进的阶段。
• 在每个阶段，学生模型在数据子集上进行训练，使用教师模型提供的软标签。
• 利用前期阶段获得的知识，提升后续阶段的性能。
• 采用结合交叉熵与知识蒸馏目标的损失函数，按阶段进行调整。
• 逐步增加训练数据的复杂性或模型容量，以避免灾难性遗忘。
• 保持与标准模型压缩技术（如量化和剪枝）的兼容性。

实验结果

研究问题

• RQ1 分阶段训练方法是否能在不牺牲性能的前提下提升知识蒸馏的数据效率？
• RQ2 在数据受限条件下，分阶段知识蒸馏与标准单阶段KD相比性能如何？
• RQ3 当仅使用训练数据的一小部分时，SKD能在多大程度上保持高精度？
• RQ4 SKD是否与量化和剪枝等其他模型压缩技术兼容？

主要发现

• SKD在图像分类和语义分割任务中，即使仅使用少量训练数据，也能实现显著的性能提升。
• 在所有评估任务和数据配置下，该方法均优于现有知识蒸馏技术。
• SKD在显著降低数据需求的同时保持高精度，展现出强大的数据效率。
• 所提出的方法与量化、剪枝等其他模型压缩技术兼容，支持通用化模型压缩。