[论文解读] Role-Wise Data Augmentation for Knowledge Distillation

Jie Fu, Xue Geng+7 more|arXiv (Cornell University)|Apr 19, 2020

Data Quality and Management参考文献 43被引用 18

一句话总结

本文提出了一种面向知识蒸馏的角色化数据增强方法，其中为教师网络和学生网络分别学习特定的数据增强策略，以提升知识迁移效果。通过根据每种模型的学习能力定制训练数据，该方法在低精度和全精度设置下均实现了显著的准确率提升——相较于原始训练方法最高提升3%，相较于标准知识蒸馏方法最高提升1.5%。

ABSTRACT

Knowledge Distillation (KD) is a common method for transferring the ``knowledge'' learned by one machine learning model (the extit{teacher}) into another model (the extit{student}), where typically, the teacher has a greater capacity (e.g., more parameters or higher bit-widths). To our knowledge, existing methods overlook the fact that although the student absorbs extra knowledge from the teacher, both models share the same input data -- and this data is the only medium by which the teacher's knowledge can be demonstrated. Due to the difference in model capacities, the student may not benefit fully from the same data points on which the teacher is trained. On the other hand, a human teacher may demonstrate a piece of knowledge with individualized examples adapted to a particular student, for instance, in terms of her cultural background and interests. Inspired by this behavior, we design data augmentation agents with distinct roles to facilitate knowledge distillation. Our data augmentation agents generate distinct training data for the teacher and student, respectively. We find empirically that specially tailored data points enable the teacher's knowledge to be demonstrated more effectively to the student. We compare our approach with existing KD methods on training popular neural architectures and demonstrate that role-wise data augmentation improves the effectiveness of KD over strong prior approaches. The code for reproducing our results can be found at https://github.com/bigaidream-projects/role-kd

研究动机与目标

• 解决现有知识蒸馏方法中教师与学生使用相同训练数据的问题，尽管两者模型容量不同。
• 探究是否可通过针对每种模型学习特征的自适应数据增强，提升知识迁移的有效性。
• 提升低比特宽（量化）神经网络中的知识蒸馏性能，因为在这些网络中标准KD常导致显著的准确率下降。
• 提出一种两阶段框架，独立学习教师与学生模型的差异化数据增强调度策略，且不依赖于蒸馏目标。
• 证明定制化增强策略可超越标准KD，即使教师与学生架构相似，也能提升学生模型性能。

提出的方法

• 提出一种两阶段训练框架：首先使用学习到的数据增强调度策略训练教师网络，然后使用另一套独立学习到的增强策略将知识蒸馏到学生网络中。
• 采用受DARTS启发的可微架构搜索方法，联合优化蒸馏目标与教师和学生网络的数据增强策略。
• 在训练周期中学习数据增强操作（如旋转、Cutout、Mixup）的操作概率与幅度参数，形成基于训练周期的调度策略。
• 引入一种基于特征的知识蒸馏变体，以捕捉特征图内部及特征图之间的关系，从而提升知识迁移效果。
• 将数据增强策略学习与蒸馏目标解耦，使该方法可与任何现有KD方法结合使用。
• 将该方法应用于低精度（量化）和全精度学生网络，验证其在不同设置下的泛化能力。

实验结果

研究问题

• RQ1 为教师与学生分别学习不同的数据增强策略，是否能相比使用相同数据的策略，提升知识蒸馏性能？
• RQ2 在低精度模型训练中，角色化数据增强是否能带来更好性能，从而克服标准KD常导致的性能下降？
• RQ3 教师与学生模型的增强调度策略有何差异？其在训练过程中的演化模式如何？
• RQ4 该方法的有效性是否依赖于教师与学生模型的架构相似性？
• RQ5 所提出的方法是否可与现有KD技术结合使用，且不损害其原有性能？

主要发现

• 所提出的角色化数据增强方法在全精度设置下，相比原始训练最高提升3%，相比标准KD最高提升1.5%。
• 在CIFAR-100数据集上，当学生网络为WRN-16-2、教师网络为WRN-28-10时，该方法达到76.19%的准确率，优于原始基线（72.68%）和标准KD（74.41%）。
• 当蒸馏到架构更相似的模型时（如从PyramidNet-200-240蒸馏到WRN-16-2），该方法达到75.03%的准确率，表明当教师与学生架构对齐时，性能增益更显著。
• 教师与学生模型的增强调度策略存在显著差异：学生模型的调度策略随训练演化，更强调旋转和Cutout等对低精度模型具有挑战性的操作。
• 该方法在量化之外也具有良好的泛化能力，在全精度网络（如WRN-16-2、PreResNet32、WRN-16-4）上，对多种教师架构均能提升性能。
• 两阶段框架与现有KD方法正交，可无缝集成到软标签、特征图或混合蒸馏策略中。