[论文解读] Revisiting Label Smoothing and Knowledge Distillation Compatibility: What was Missing?

Keshigeyan Chandrasegaran, Ngoc-Trung Tran+2 more|arXiv (Cornell University)|Jun 29, 2022

Machine Learning and Data Classification被引用 6

一句话总结

本文通过识别'系统性扩散'为缺失机制，解决了长期存在的关于标签平滑（LS）是否损害知识蒸馏（KD）的矛盾：当从高温训练的标签平滑教师网络蒸馏时，学生模型的表征会系统性地向语义相似类别扩散，从而削弱KD的优势。作者证明，从标签平滑教师网络进行低温蒸馏可获得更优的学生模型性能，为LS-KD兼容性难题提供了实用解决方案。

ABSTRACT

This work investigates the compatibility between label smoothing (LS) and knowledge distillation (KD). Contemporary findings addressing this thesis statement take dichotomous standpoints: Muller et al. (2019) and Shen et al. (2021b). Critically, there is no effort to understand and resolve these contradictory findings, leaving the primal question -- to smooth or not to smooth a teacher network? -- unanswered. The main contributions of our work are the discovery, analysis and validation of systematic diffusion as the missing concept which is instrumental in understanding and resolving these contradictory findings. This systematic diffusion essentially curtails the benefits of distilling from an LS-trained teacher, thereby rendering KD at increased temperatures ineffective. Our discovery is comprehensively supported by large-scale experiments, analyses and case studies including image classification, neural machine translation and compact student distillation tasks spanning across multiple datasets and teacher-student architectures. Based on our analysis, we suggest practitioners to use an LS-trained teacher with a low-temperature transfer to achieve high performance students. Code and models are available at https://keshik6.github.io/revisiting-ls-kd-compatibility/

研究动机与目标

• 解决文献中关于标签平滑（LS）是否损害知识蒸馏（KD）的矛盾发现。
• 识别导致LS-KD兼容性研究结果不一致的潜在机制。
• 提供一种原则性且经实证验证的策略，用于在实践中结合LS与KD。
• 证明从标签平滑教师网络进行高温蒸馏时，由于学生表征的系统性扩散，效果不佳。

提出的方法

• 提出一种新颖指标——扩散指数（η），用于定量测量学生模型倒数第二层表征的系统性扩散。
• 通过倒数第二层特征的定性可视化，表明从标签平滑教师网络进行高温蒸馏时，语义相似类别的表征会趋于汇聚。
• 在图像分类（ImageNet-1K、CUB200-2011）、神经机器翻译（IWSLT）以及紧凑学生模型蒸馏（MobileNetV2、EfficientNet-B0）任务中开展大规模实验。
• 使用替代距离度量（如成对距离）验证扩散指数（η）在不同聚类距离表征下的鲁棒性。
• 通过增加标签平滑强度（α=0.2）的消融实验，确认系统性扩散现象持续存在且随正则化增强而加剧。

实验结果

研究问题

• RQ1 为何关于标签平滑与知识蒸馏兼容性的研究结果存在矛盾？
• RQ2 从标签平滑教师网络在高温下蒸馏时，导致性能下降的机制是什么？
• RQ3 教师网络中标签平滑带来的信息擦除优势是否超过其在KD中的负面影响？
• RQ4 在何种条件下标签平滑与知识蒸馏是兼容的？

主要发现

• 当从标签平滑教师网络在高温下蒸馏时，学生表征会系统性地向语义相似类别扩散，从而削弱KD的优势。
• 扩散指数（η）定量证实，从标签平滑教师网络采用高温蒸馏训练的学生模型，其表征显著向相似类别扩散。
• 在ImageNet-1K和CUB200-2011上的实验表明，从标签平滑教师网络进行低温蒸馏可获得优于高温蒸馏的学生模型性能。
• 使用更大的标签平滑超参数（α=0.2）会加剧系统性扩散，证实该现象在不同平滑强度下均具普适性。
• 使用其他距离度量（如成对距离）的结果保持一致，验证了扩散指数（η）在不同聚类距离表征下的鲁棒性。