[论文解读] Self-Distillation from the Last Mini-Batch for Consistency Regularization

Yiqing Shen, Liwu Xu+3 more|arXiv (Cornell University)|Mar 30, 2022

Domain Adaptation and Few-Shot Learning被引用 10

一句话总结

本文提出 DLB（来自最后一个小批量的自蒸馏），一种计算效率高且内存占用低的自蒸馏方法，利用前一个小型批量生成的软标签对训练进行正则化，从而提升模型的一致性和对标签噪声的鲁棒性。该方法在无需架构修改或预训练教师模型的前提下，在多种网络架构上均实现了最先进性能。

ABSTRACT

Knowledge distillation (KD) shows a bright promise as a powerful regularization strategy to boost generalization ability by leveraging learned sample-level soft targets. Yet, employing a complex pre-trained teacher network or an ensemble of peer students in existing KD is both time-consuming and computationally costly. Various self KD methods have been proposed to achieve higher distillation efficiency. However, they either require extra network architecture modification or are difficult to parallelize. To cope with these challenges, we propose an efficient and reliable self-distillation framework, named Self-Distillation from Last Mini-Batch (DLB). Specifically, we rearrange the sequential sampling by constraining half of each mini-batch coinciding with the previous iteration. Meanwhile, the rest half will coincide with the upcoming iteration. Afterwards, the former half mini-batch distills on-the-fly soft targets generated in the previous iteration. Our proposed mechanism guides the training stability and consistency, resulting in robustness to label noise. Moreover, our method is easy to implement, without taking up extra run-time memory or requiring model structure modification. Experimental results on three classification benchmarks illustrate that our approach can consistently outperform state-of-the-art self-distillation approaches with different network architectures. Additionally, our method shows strong compatibility with augmentation strategies by gaining additional performance improvement. The code is available at https://github.com/Meta-knowledge-Lab/DLB.

研究动机与目标

• 为解决传统知识蒸馏方法中高昂的计算与内存开销，特别是依赖预训练教师模型或集成模型的问题。
• 克服现有自蒸馏方法的局限性，如架构修改、模型快照带来的内存开销以及计算冗余。
• 开发一种简单、高效且可并行化的自蒸馏框架，以增强训练的稳定性和一致性。
• 提升模型对标签噪声的鲁棒性，并增强与数据增强策略的兼容性。
• 提供一种即插即用的正则化方法，适用于多种网络架构，且无需修改模型结构。

提出的方法

• 重新排列小批量采样方式，使每个批次的一半样本与前一次迭代重叠，另一半与下一次迭代重叠，从而实现时间上的一致性。
• 利用前一个小型批量实时生成的软标签作为当前批次的蒸馏目标。
• 应用一致性损失，将模型在前一个小型批量中的预测结果作为蒸馏目标，通过温度缩放实现软标签平滑。
• 通过平衡系数 α 将蒸馏损失与交叉熵损失结合，实现端到端训练，每个小批量仅需一次前向传播和一次反向传播。
• 避免额外内存开销，仅存储最后一个小型批量的软目标，而不保存模型快照或完整历史记录。
• 通过利用增强视图之间的一致预测，实现与数据增强技术的无缝集成。

Figure 1 : The overall architecture of our DLB. We write $\mathcal{B}_{t}$ , $\phi_{t}$ , $\theta_{t}$ for a mini-batch of data samples, random augmentation and the trainable parameters indexed in the $t$ th iteration.

实验结果

研究问题

• RQ1 能否设计一种自蒸馏方法，避免使用预训练教师模型和架构修改，同时保持高效率与高性能？
• RQ2 仅使用最后一个小型批量的软标签，相比其他自蒸馏基线方法，如何提升训练的稳定性和一致性？
• RQ3 所提出方法在多大程度上增强了对训练数据中标签噪声的鲁棒性？
• RQ4 当与数据增强技术结合时，该方法是否仍保持有效性？
• RQ5 该方法对温度和损失权重等超参数的敏感性如何？

主要发现

• 在 CIFAR-10、CIFAR-100 和 Tiny ImageNet 上，DLB 均优于当前最先进自蒸馏方法，在 CIFAR-100 上使用 ResNet-32 时达到 26.00% 的 top-1 错误率。
• 在 CIFAR-100 上使用 60% 标签噪声时，DLB 相较基线模型准确率提升 4.44%，展现出对噪声标签的强大鲁棒性。
• 在 10% 标签噪声下，DLB 实现 2.38% 的准确率增益，并且在更高噪声率下性能增益持续增加。
• 将 DLB 与数据增强技术结合可带来额外性能提升，表明其具有正交且互补的优势。
• 消融实验表明，若移除蒸馏损失，性能显著下降，ResNet-32 的错误率从 26.00% 上升至 28.01%。
• 超参数分析显示，在 τ=3 且 α∈[0.5,2.0] 时性能最优，表明方法对超参数选择具有鲁棒性。

(a) CIFAR-100