[论文解读] Revisiting Knowledge Distillation via Label Smoothing Regularization

Yuan, Li, Francis E. H. Tay+3 more|arXiv (Cornell University)|Sep 25, 2019

Domain Adaptation and Few-Shot Learning参考文献 22被引用 16

一句话总结

本文提出了一种无需教师模型的知识蒸馏方法（Tf-KD），该方法使学生模型能够通过自训练或人工设计的正则化分布进行优化，从而避免对预训练教师模型的依赖。作者从理论上将知识蒸馏与标签平滑正则化联系起来，表明软标签可作为一种学习到的正则化形式——在不增加额外计算成本的情况下，实现与标准知识蒸馏相当的性能，使 ImageNet 上的 top-1 准确率最高提升 0.65%。

ABSTRACT

Knowledge Distillation (KD) aims to distill the knowledge of a cumbersome teacher model into a lightweight student model. Its success is generally attributed to the privileged information on similarities among categories provided by the teacher model, and in this sense, only strong teacher models are deployed to teach weaker students in practice. In this work, we challenge this common belief by following experimental observations: 1) beyond the acknowledgment that the teacher can improve the student, the student can also enhance the teacher significantly by reversing the KD procedure; 2) a poorly-trained teacher with much lower accuracy than the student can still improve the latter significantly. To explain these observations, we provide a theoretical analysis of the relationships between KD and label smoothing regularization. We prove that 1) KD is a type of learned label smoothing regularization and 2) label smoothing regularization provides a virtual teacher model for KD. From these results, we argue that the success of KD is not fully due to the similarity information between categories from teachers, but also to the regularization of soft targets, which is equally or even more important. Based on these analyses, we further propose a novel Teacher-free Knowledge Distillation (Tf-KD) framework, where a student model learns from itself or manuallydesigned regularization distribution. The Tf-KD achieves comparable performance with normal KD from a superior teacher, which is well applied when a stronger teacher model is unavailable. Meanwhile, Tf-KD is generic and can be directly deployed for training deep neural networks. Without any extra computation cost, Tf-KD achieves up to 0.65\% improvement on ImageNet over well-established baseline models, which is superior to label smoothing regularization.

研究动机与目标

• 挑战一种普遍观点，即知识蒸馏主要依赖于强教师模型提供的类别间相似性信息。
• 探究当教师模型较弱甚至劣于学生模型时，知识蒸馏是否仍具有效性。
• 从理论上将知识蒸馏与标签平滑正则化联系起来，揭示软标签的正则化作用。
• 提出一种通用且无需计算的蒸馏方法，无需使用教师模型。
• 验证自训练或人工设计的虚拟教师可实现与标准知识蒸馏相当的性能。

提出的方法

• 提出教师无关知识蒸馏（Tf-KD）框架，通过使用学生模型自身预测结果作为软标签，替代对教师模型的需求。
• 引入 Tf-KD reg 变体，采用人工设计的目标分布，其中正确类别概率为 99%，其余类别为均匀分布，起到虚拟教师的作用。
• 从理论上证明知识蒸馏是一种学习到的标签平滑正则化形式，其中教师的软目标作为平滑分布。
• 证明标签平滑正则化等价于一种固定且均匀的虚拟教师形式的临时知识蒸馏。
• 采用温度缩放，并结合交叉熵损失与 KL 散度的加权组合来训练学生模型。
• 在多个数据集（ImageNet、CIFAR100、Tiny-ImageNet）和模型（ResNet、DenseNet、ResNeXt）上验证该方法，采用标准训练协议。

实验结果

研究问题

• RQ1 一个弱化或训练不佳的教师是否仍能显著提升学生模型性能，与‘仅强教师提供有用知识’的普遍信念相悖？
• RQ2 知识蒸馏是否主要依赖于教师提供的类别间相似性信息，还是软标签的正则化作用同等甚至更为关键？
• RQ3 学生模型能否有效利用自身预测作为软目标进行自训练，从而完全消除对独立教师模型的需求？
• RQ4 知识蒸馏与标签平滑正则化之间是否存在理论联系？
• RQ5 人工设计的、非信息性的虚拟教师（如均匀分布）是否仍能实现与标准知识蒸馏相当的性能？

主要发现

• Tf-KD reg 采用人工设计的虚拟教师，正确类别概率为 99%，在 ImageNet 上使 ResNet50 的 top-1 准确率提升 0.65%，优于标准标签平滑正则化。
• 对于参数量达 88.79M 的强大 ResNeXt101-32×8d 模型，Tf-KD reg 在 ImageNet 上实现 0.48% 的准确率增益，且无任何额外计算成本。
• 在 CIFAR100 上，Tf-KD 的自训练变体（Tf-KD self）将准确率从 81.03% 提升至 82.08%，在小数据集上表现强劲。
• Tf-KD reg 在所有评估数据集（包括 ImageNet、CIFAR100 和 Tiny-ImageNet）上均持续优于标准标签平滑正则化。
• 理论分析证实，知识蒸馏是一种学习到的标签平滑正则化形式，教师的软目标充当平滑分布。
• 知识蒸馏的成功并非仅源于类别间相似性信息，更显著地依赖于软标签的正则化效应，其重要性与类别间相似性信息同等甚至更为关键。