[论文解读] VanillaKD: Revisit the Power of Vanilla Knowledge Distillation from Small Scale to Large Scale

Zhiwei Hao, Jianyuan Guo+4 more|arXiv (Cornell University)|May 25, 2023

COVID-19 diagnosis using AI被引用 5

一句话总结

本文重新审视了原始知识蒸馏（KD）方法，并表明，与以往假设相反，仅使用原始KD在ImageNet-1K等大规模数据集上无需架构修改即可实现最先进性能。通过采用更强的数据增强和更长的训练周期，原始KD在ResNet-50上达到83.1%的top-1准确率，在ViT-S上达到84.3%，在ConvNeXtV2-T上达到85.0%，优于复杂的KD变体。

ABSTRACT

The tremendous success of large models trained on extensive datasets demonstrates that scale is a key ingredient in achieving superior results. Therefore, the reflection on the rationality of designing knowledge distillation (KD) approaches for limited-capacity architectures solely based on small-scale datasets is now deemed imperative. In this paper, we identify the \emph{small data pitfall} that presents in previous KD methods, which results in the underestimation of the power of vanilla KD framework on large-scale datasets such as ImageNet-1K. Specifically, we show that employing stronger data augmentation techniques and using larger datasets can directly decrease the gap between vanilla KD and other meticulously designed KD variants. This highlights the necessity of designing and evaluating KD approaches in the context of practical scenarios, casting off the limitations of small-scale datasets. Our investigation of the vanilla KD and its variants in more complex schemes, including stronger training strategies and different model capacities, demonstrates that vanilla KD is elegantly simple but astonishingly effective in large-scale scenarios. Without bells and whistles, we obtain state-of-the-art ResNet-50, ViT-S, and ConvNeXtV2-T models for ImageNet, which achieve 83.1\%, 84.3\%, and 85.0\% top-1 accuracy, respectively. PyTorch code and checkpoints can be found at https://github.com/Hao840/vanillaKD.

研究动机与目标

• 挑战现有观点，即认为复杂KD方法对高性能是必需的，通过在大规模设置下重新评估原始KD。
• 识别现有KD文献中的“小数据陷阱”，即在小规模基准（如CIFAR-100）上低估了原始KD的能力。
• 研究训练策略和模型容量如何影响不同规模下的KD性能，特别是在ImageNet-1K上的表现。
• 证明仅使用原始KD（无额外组件）在强数据增强和长训练周期下，可在现代主干网络上实现最先进结果。
• 倡导在实际的大规模场景中评估KD方法，而非依赖小规模基准。

提出的方法

• 在ImageNet-1K上使用强数据增强和延长训练周期重新评估原始KD，以评估其相对于复杂KD变体的性能。
• 在不同模型容量和训练方案下，比较基于logits的KD（如Hinton原始KD）与基于提示的KD方法（如FitNet、CRD）。
• 采用标准知识蒸馏损失：使用温度缩放因子，计算学生模型与教师模型软标签之间的交叉熵。
• 使用相同的训练方案训练所有方法的学生模型（ResNet-50、ViT-S、ConvNeXtV2-T），以确保公平比较。
• 在所有实验中采用单一、一致的训练协议：延长训练周期、强增强技术（如Mixup、CutMix）和标准优化设置。
• 通过多种模型架构和教师-学生容量组合验证结果，以评估发现的泛化能力。

实验结果

研究问题

• RQ1 当在ImageNet-1K等大规模数据集上评估时，原始KD与先进KD方法之间的性能差距是否依然存在？
• RQ2 相较于复杂KD变体，更强的数据增强和更长的训练周期对原始KD性能的提升程度如何？
• RQ3 模型容量（如Res34与Res152分别作为教师指导Res50）如何影响原始KD的有效性？
• RQ4 为何在大规模设置下，基于提示的KD方法表现不如基于logits的方法？
• RQ5 原始KD是否可在不进行架构或训练方案修改的情况下，仅凭自身实现现代视觉主干网络的最先进性能？

主要发现

• 在ImageNet-1K上，原始KD在ResNet-50上达到83.1%的top-1准确率，超越了以往最佳结果。
• 在ViT-S上，原始KD达到84.3%的top-1准确率，未引入任何额外组件即创下新SOTA。
• 在ConvNeXtV2-T上，原始KD达到85.0%的top-1准确率，优于此前报告的结果。
• 在大规模数据集上，原始KD与复杂KD变体之间的性能差距显著缩小，尤其在采用强数据增强和长训练周期时。
• 在大规模基准上，基于logits的KD方法在泛化能力方面始终优于基于提示的方法。
• 当应用强训练策略时，模型容量对蒸馏效果的影响微乎其微，表明原始KD在不同架构尺度上均具有鲁棒性。