[论文解读] Online Knowledge Distillation via Multi-branch Diversity Enhancement

Zheng Li, Ying Huang+4 more|arXiv (Cornell University)|Oct 2, 2020

Domain Adaptation and Few-Shot Learning参考文献 50被引用 4

一句话总结

本文提出了一种新颖的在线知识蒸馏框架，通过特征融合模块（FFM）和分类器多样化（CD）损失，增强了多个学生模型之间的多样性。通过融合多个分支的高层语义特征并强制执行正交特征学习，该方法在CIFAR-10/100和CINIC-10上实现了最先进性能，且无需额外推理成本。

ABSTRACT

Knowledge distillation is an effective method to transfer the knowledge from the cumbersome teacher model to the lightweight student model. Online knowledge distillation uses the ensembled prediction results of multiple student models as soft targets to train each student model. However, the homogenization problem will lead to difficulty in further improving model performance. In this work, we propose a new distillation method to enhance the diversity among multiple student models. We introduce Feature Fusion Module (FFM), which improves the performance of the attention mechanism in the network by integrating rich semantic information contained in the last block of multiple student models. Furthermore, we use the Classifier Diversification(CD) loss function to strengthen the differences between the student models and deliver a better ensemble result. Extensive experiments proved that our method significantly enhances the diversity among student models and brings better distillation performance. We evaluate our method on three image classification datasets: CIFAR-10/100 and CINIC-10. The results show that our method achieves state-of-the-art performance on these datasets.

研究动机与目标

• 为解决在线知识蒸馏中多个学生模型收敛到相似表征而导致蒸馏效率降低的同质化问题。
• 通过增强分支间的特征多样性，提升基于集成的学生模型性能。
• 开发一种轻量化、高效的方案，在无需预训练教师模型的前提下保持高准确率。
• 仅使用组组长作为最终部署模型，在图像分类基准上实现最先进性能。

提出的方法

• 引入特征融合模块（FFM），聚合多个学生模型最后一层块的语义特征，以丰富注意力机制的输入。
• 采用分类器多样化（CD）损失函数，通过正则化特征学习以强制学生分支之间的正交性，减少同质化。
• 采用两级蒸馏框架，包含m-1个辅助分支和一个组组长，将知识蒸馏至组长用于部署。
• 利用辅助分支的集成预测作为软目标来训练组组长，同时通过FFM实现多分支特征融合以提升注意力质量。
• 将CD损失作为正则化项，惩罚分支特征之间的相似性，促进不同的学习模式。
• 优化CD损失中的超参数γ，以在多样性与收敛性之间取得平衡，确保训练稳定。

实验结果

研究问题

• RQ1 多分支特征融合能否提升在线知识蒸馏中注意力机制的性能？
• RQ2 在学生分支之间强制执行正交特征学习是否能减少模型同质化并提升集成准确率？
• RQ3 所提方法是否能在不增加推理成本的前提下，在图像分类基准上实现最先进性能？
• RQ4 CD损失对超参数γ的敏感度如何？何种取值范围可确保最佳性能？

主要发现

• 在使用ResNet-32时，该方法在CIFAR-100上的top-1错误率为24.84%，相比基线提升1.68个百分点。
• 在ResNet-110上，该方法相比基线错误率降低2.13%，相比最先进方法OKDDip降低0.35%。
• FFM与CD损失的结合相比仅使用FFM，将top-1错误率进一步降低0.56%，证明了两个组件的有效性。
• CD损失是影响最显著的组件，在所有主干网络和数据集上均显著提升性能。
• 该方法在γ值的广泛范围内均保持稳健性能，表明超参数选择具有稳定性。
• 在CINIC-10上，该方法实现了最先进结果，证实了其在不同数据集上的泛化能力。