[论文解读] Online Knowledge Distillation with Diverse Peers

Defang Chen, Jian-Ping Mei+3 more|arXiv (Cornell University)|Dec 1, 2019

Domain Adaptation and Few-Shot Learning参考文献 28被引用 4

一句话总结

该论文提出 OKDDip，一种两级在线知识蒸馏框架，通过使用多样化的辅助同伴和一个组组长，在无需预训练教师模型的情况下提升模型性能。它采用基于注意力的机制，在一级蒸馏过程中分配动态、非对称的权重，以保持同伴多样性并提升泛化能力；二级蒸馏将集成知识传递给单一推理就绪模型，性能优于当前最先进方法，且不增加训练或推理成本。

ABSTRACT

Distillation is an effective knowledge-transfer technique that uses predicted distributions of a powerful teacher model as soft targets to train a less-parameterized student model. A pre-trained high capacity teacher, however, is not always available. Recently proposed online variants use the aggregated intermediate predictions of multiple student models as targets to train each student model. Although group-derived targets give a good recipe for teacher-free distillation, group members are homogenized quickly with simple aggregation functions, leading to early saturated solutions. In this work, we propose Online Knowledge Distillation with Diverse peers (OKDDip), which performs two-level distillation during training with multiple auxiliary peers and one group leader. In the first-level distillation, each auxiliary peer holds an individual set of aggregation weights generated with an attention-based mechanism to derive its own targets from predictions of other auxiliary peers. Learning from distinct target distributions helps to boost peer diversity for effectiveness of group-based distillation. The second-level distillation is performed to transfer the knowledge in the ensemble of auxiliary peers further to the group leader, i.e., the model used for inference. Experimental results show that the proposed framework consistently gives better performance than state-of-the-art approaches without sacrificing training or inference complexity, demonstrating the effectiveness of the proposed two-level distillation framework.

研究动机与目标

• 为解决基于组的在线知识蒸馏中同伴快速收敛至相似行为所导致的模型同质化问题。
• 通过在训练过程中保持学生同伴间的多样性，提升无教师蒸馏的泛化能力。
• 设计一种高效的两级蒸馏框架，将多样化同伴的知识传递给单一组长用于推理。
• 在不依赖预训练教师模型的前提下，实现与或优于教师引导蒸馏的性能。

提出的方法

• OKDDip 使用多个辅助同伴和一个组组长，一级蒸馏在同伴之间通过基于注意力的机制进行，以生成个性化的聚合权重。
• 每个同伴通过对其余同伴预测结果应用基于注意力的权重，计算自身的目标分布，从而促进不同的目标分布并增强多样性。
• 注意力机制动态分配同伴的重要性，使高质量预测对其他同伴影响更大，同时降低劣质优化同伴的负面影响。
• 二级蒸馏将多样化同伴的集成知识传递给组长，该组长用于推理，确保效率。
• 该框架整合了来自同伴级和组长级训练的知识蒸馏损失，且不增加训练或推理复杂度。
• 该方法在基于 ResNet 的架构上于 CIFAR-10、CIFAR-100 和 ImageNet-2012 上进行了评估，展示了在各类设置下的鲁棒性。

实验结果

研究问题

• RQ1 在线知识蒸馏是否能在不依赖预训练教师模型的情况下实现高性能？
• RQ2 在基于组的蒸馏过程中，如何保持同伴多样性以避免早期饱和与同质化？
• RQ3 非对称、基于注意力的聚合对蒸馏性能和模型泛化能力有何影响？
• RQ4 与单级同伴蒸馏相比，两级蒸馏框架（先在同伴间，再传递给组长）是否能提升性能？
• RQ5 无教师蒸馏方法是否能在准确率和效率方面超越教师引导的 KD？

主要发现

• OKDDip 在 CIFAR-10、CIFAR-100 和 ImageNet-2012 上均优于当前最先进在线知识蒸馏方法，且在所有数据集上均保持一致的准确率提升。
• 消融实验表明，移除基于注意力的机制（w/o SA）在 CIFAR-100 上使误差率增加 2.61%，证明其在保持多样性方面具有关键作用。
• 采用简单平均（w/o SA, mean）进行聚合导致性能下降 0.72%，证实了动态加权的优势。
• 移除注意力权重的非对称性（w/o SA, asymmetry）使误差率增加 0.42%，证明非对称注意力有助于减轻弱同伴的负面影响。
• 移除二级蒸馏（w/o two-level）使误差率增加 2.16%，证实其对有效知识传递至最终推理模型的必要性。
• 当存在预训练教师时，OKDDip+KD（教师辅助）优于标准 KD 和基线模型，接近教师模型性能；然而，无教师的 OKDDip 仍在 CIFAR-10 和 CIFAR-100 上超越了教师引导的 KD。