[论文解读] Self-Knowledge Distillation with Progressive Refinement of Targets

Kyungyul Kim, Byeongmoon Ji+2 more|arXiv (Cornell University)|Jun 22, 2020

Advanced Neural Network Applications参考文献 50被引用 16

一句话总结

本文提出渐进式自知识蒸馏（PS-KD），一种正则化方法，通过利用模型过去预测结果逐步软化硬性独热标签，以提升泛化能力。通过将模型自身的先前输出视为教师模型，PS-KD 隐式地执行了困难样本挖掘，并在图像分类、目标检测和机器翻译等任务中提升了准确率、校准度与序数排序性能。

ABSTRACT

The generalization capability of deep neural networks has been substantially improved by applying a wide spectrum of regularization methods, e.g., restricting function space, injecting randomness during training, augmenting data, etc. In this work, we propose a simple yet effective regularization method named progressive self-knowledge distillation (PS-KD), which progressively distills a model's own knowledge to soften hard targets (i.e., one-hot vectors) during training. Hence, it can be interpreted within a framework of knowledge distillation as a student becomes a teacher itself. Specifically, targets are adjusted adaptively by combining the ground-truth and past predictions from the model itself. We show that PS-KD provides an effect of hard example mining by rescaling gradients according to difficulty in classifying examples. The proposed method is applicable to any supervised learning tasks with hard targets and can be easily combined with existing regularization methods to further enhance the generalization performance. Furthermore, it is confirmed that PS-KD achieves not only better accuracy, but also provides high quality of confidence estimates in terms of calibration as well as ordinal ranking. Extensive experimental results on three different tasks, image classification, object detection, and machine translation, demonstrate that our method consistently improves the performance of the state-of-the-art baselines. The code is available at https://github.com/lgcnsai/PS-KD-Pytorch.

研究动机与目标

• 解决使用硬性独热标签训练的深度神经网络存在的过度自信与泛化能力差的问题。
• 在不依赖外部数据或复杂架构的前提下，提升模型的校准度与鲁棒性。
• 开发一种简单、即插即用的正则化技术，适用于任何具有硬目标的监督学习任务。
• 通过自适应标签平滑实现更优的置信度估计与误分类检测。
• 在图像分类、目标检测与机器翻译等多种任务中，实现一致的性能提升。

提出的方法

• 在每个训练周期中，使用模型在前一周期的预测结果作为软目标（即教师模型），以指导当前学生模型的训练。
• 软目标通过真实独热标签与历史预测的线性组合计算得出：$ y_{\text{soft}} = (1 - \alpha) \cdot y_{\text{hard}} + \alpha \cdot y_{\text{past}} $，其中 $ \alpha $ 为衰减系数。
• 通过引入模型自身不断演化的知识，逐步优化目标，实现自适应标签平滑。
• 根据预测难度调整梯度缩放，隐式地在训练过程中强调困难样本。
• 该方法与现有正则化技术（如标签平滑、CutMix 和数据增强）兼容。
• 计算开销极低，可轻松集成到任意基于 PyTorch 的训练流程中。

实验结果

研究问题

• RQ1 模型自身的过去预测是否能有效用于生成更具信息量的软目标，以提升泛化能力？
• RQ2 渐进式自知识蒸馏是否通过梯度缩放隐式地执行了困难样本挖掘？
• RQ3 PS-KD 是否能在图像分类、目标检测与机器翻译等多样化任务中同时提升预测准确率与置信度校准度？
• RQ4 在性能与鲁棒性方面，PS-KD 与标签平滑及其他蒸馏方法相比表现如何？
• RQ5 PS-KD 与先进数据增强技术结合后，能在多大程度上进一步提升模型的泛化能力？

主要发现

• 在 CIFAR-100 和 ImageNet 上，PS-KD 相较于标准训练方法，Top-1 准确率最高提升 1.2%；相较于标签平滑方法，提升 0.8%。
• 在 PASCAL VOC 目标检测任务中，PS-KD 将 mAP 从基线模型 ResNet-152 的 78.26% 提升至 79.50%，相对提升 1.24%。
• 当与 CutMix 结合使用时，PS-KD 达到 79.72% 的 mAP，优于所有其他方法，包括单独使用 PS-KD 和标签平滑（LS）。
• 在机器翻译任务（IWSLT15 EN-DE）中，PS-KD 达到 BLEU 得分 30.0，超过基线 Transformer 模型（28.5）与标签平滑方法（29.3）。
• PS-KD 改进了置信度校准度与序数排序性能，表明其具备更优的不确定性估计与误分类检测能力。
• 该方法在无需架构修改或复杂调整的前提下，持续提升了所有评估任务中的最先进模型性能。