[论文解读] Understanding the Role of the Projector in Knowledge Distillation

Roy Miles, Krystian Mikolajczyk|arXiv (Cornell University)|Mar 20, 2023

Advanced Neural Network Applications被引用 4

一句话总结

本文通过识别投影器作为知识蒸馏中的关键组件，重新思考了知识蒸馏方法，该组件隐式编码了样本间的关联信息，从而实现高效的模型蒸馏。通过结合线性投影器、批量归一化和LogSum损失函数，作者在图像分类、目标检测以及数据高效型Transformer训练任务中均取得了当前最优或更优的性能表现，尤其在使用DeiT-Ti模型时，ImageNet数据集上的Top-1准确率达到77.2%，同时显著降低了计算与内存开销。

ABSTRACT

In this paper we revisit the efficacy of knowledge distillation as a function matching and metric learning problem. In doing so we verify three important design decisions, namely the normalisation, soft maximum function, and projection layers as key ingredients. We theoretically show that the projector implicitly encodes information on past examples, enabling relational gradients for the student. We then show that the normalisation of representations is tightly coupled with the training dynamics of this projector, which can have a large impact on the students performance. Finally, we show that a simple soft maximum function can be used to address any significant capacity gap problems. Experimental results on various benchmark datasets demonstrate that using these insights can lead to superior or comparable performance to state-of-the-art knowledge distillation techniques, despite being much more computationally efficient. In particular, we obtain these results across image classification (CIFAR100 and ImageNet), object detection (COCO2017), and on more difficult distillation objectives, such as training data efficient transformers, whereby we attain a 77.2% top-1 accuracy with DeiT-Ti on ImageNet. Code and models are publicly available.

研究动机与目标

• 理解投影器在知识蒸馏中的理论与实际作用，超越简单的特征变换。
• 研究归一化与距离度量如何与投影器协同作用，进而影响训练动态与模型性能。
• 开发一种计算高效的蒸馏方案，避免使用如相关矩阵或记忆库等昂贵的关联结构。
• 在多种任务上评估该方法，包括图像分类、目标检测以及视觉Transformer的数据高效训练。
• 证明简单的架构选择可在大容量差距场景下超越复杂且专门设计的蒸馏方法。

提出的方法

• 该方法使用线性投影层将教师模型的特征进行变换，随后对学生模型的特征应用LogSum距离损失。
• 对投影后的特征应用批量归一化，以稳定训练动态并提升泛化能力。
• 采用LogSum距离函数作为损失度量，其作为软最大值的可微近似，能有效提升大容量差距任务的性能。
• 投影器通过编码来自历史样本的信息，隐式捕捉关联梯度，从而无需显式使用记忆库或相关矩阵。
• 该框架端到端应用于图像分类（CIFAR100、ImageNet）、目标检测（COCO2017）以及视觉Transformer的数据高效训练。
• 该方法设计为即插即用，无需额外可学习层或复杂调度策略，且与现有训练流程完全兼容。

实验结果

研究问题

• RQ1 在知识蒸馏训练过程中，投影器如何隐式编码样本之间的关联信息？
• RQ2 归一化在与投影器结合时，其在影响训练动态与最终性能方面起到何种作用？
• RQ3 简单的LogSum距离函数是否能有效弥合教师与学生模型之间的大容量差距？
• RQ4 在仅使用线性投影器、批量归一化与LogSum损失的极简组件组合下，能否实现与当前最优蒸馏方法相当或更优的性能？
• RQ5 所蒸馏的知识在多大程度上保留了教师模型的显式归纳偏置（如平移等变性）？

主要发现

• 投影器隐式编码了来自历史样本的关联梯度，实现了有效的知识迁移，而无需显式记忆库或相关矩阵。
• 表示的归一化与投影器的训练动态紧密耦合，对模型性能有显著影响。
• LogSum距离函数能有效解决大容量差距问题，在具有挑战性的蒸馏任务中显著提升性能。
• 所提方法在使用DeiT-Ti模型时，于ImageNet上实现了77.2%的Top-1准确率，优于针对数据高效训练设计的专用蒸馏方法。
• 该方法在视觉Transformer中显著提升了平移等变性转移能力，其度量值为0.04±0.02，相较教师模型的1.52±0.15，表明空间归纳偏置得到了良好保留。
• 在COCO2017目标检测任务中，该方法达到32.92 mAP（50-95）和52.96 AP50，优于FPGI，并与ReviewKD相当或更优，尽管实现方式更简单、成本更低。