[论文解读] Respecting Transfer Gap in Knowledge Distillation

Yulei Niu, Long Chen+2 more|arXiv (Cornell University)|Oct 23, 2022

Domain Adaptation and Few-Shot Learning被引用 8

一句话总结

该论文提出逆概率加权蒸馏（IPWD），通过估计并反向加权机器领域中倾向得分较低的样本，校正知识蒸馏中的迁移差距。由于教师模型预测因上下文等变性而失衡，IPWD在CIFAR-100和ImageNet上将学生模型的准确率提升了0.33%至0.82%，尤其显著改善了低频类别的表现。

ABSTRACT

Knowledge distillation (KD) is essentially a process of transferring a teacher model's behavior, e.g., network response, to a student model. The network response serves as additional supervision to formulate the machine domain, which uses the data collected from the human domain as a transfer set. Traditional KD methods hold an underlying assumption that the data collected in both human domain and machine domain are both independent and identically distributed (IID). We point out that this naive assumption is unrealistic and there is indeed a transfer gap between the two domains. Although the gap offers the student model external knowledge from the machine domain, the imbalanced teacher knowledge would make us incorrectly estimate how much to transfer from teacher to student per sample on the non-IID transfer set. To tackle this challenge, we propose Inverse Probability Weighting Distillation (IPWD) that estimates the propensity score of a training sample belonging to the machine domain, and assigns its inverse amount to compensate for under-represented samples. Experiments on CIFAR-100 and ImageNet demonstrate the effectiveness of IPWD for both two-stage distillation and one-stage self-distillation.

研究动机与目标

• 为解决知识蒸馏中人类领域与机器领域独立同分布（IID）的不切实际假设，该假设忽略了领域分布偏移问题。
• 识别出即使在使用类别平衡数据进行训练时，教师模型的预测仍因上下文等变性而失衡，从而造成迁移差距。
• 通过校正机器领域中教师知识的不平衡性，提升在低频类别上的蒸馏性能。
• 提出一种基于估计倾向得分动态调整样本权重的方法，以实现知识迁移的平衡。

提出的方法

• 为每个训练样本 $ x $ 估计倾向得分 $ P(x \mid \text{machine domain}) $，表示其属于机器领域的概率。
• 通过分配 $ 1 / P(x) $ 作为样本权重，应用逆概率加权（IPW），以补偿机器领域中样本的不足。
• 将IPW整合到蒸馏损失中，采用改进的KL散度损失：$ \mathcal{L}_{\text{ipw-dist}} = \sum_i w_i \cdot \text{KL}(T_i(x) \parallel S_i(x)) $，其中 $ w_i = 1 / P(x_i) $。
• 仅在训练的最后75个周期应用IPWD，以避免在学生模型与自教师模型均欠拟合的早期训练阶段因权重估计不准而影响性能。
• 采用渐进式蒸馏调度（PS-KD），引入衰减的权衡系数 $ \alpha_t $，并将其与IPWD结合，形成 $ \mathcal{L}_{\text{ps-kd + ipw}} $。
• 在标准基准（CIFAR-100、ImageNet）上使用标准架构（ResNet、DenseNet等）进行训练，以验证方法在多种设置下的有效性。

实验结果

研究问题

• RQ1 为何尽管使用了教师模型的软标签，知识蒸馏在低频类别上仍表现不佳？
• RQ2 由上下文等变性驱动的教师模型预测失衡，在多大程度上造成了人类领域与机器领域之间的迁移差距？
• RQ3 逆倾向加权能否有效校正知识蒸馏中不平衡的知识迁移？
• RQ4 在训练早期阶段应用IPWD是否因权重估计不准确而降低性能？
• RQ5 在不同架构下，IPWD与现有蒸馏方法相比，在准确率、校准性和鲁棒性方面表现如何？

主要发现

• 在CIFAR-100的一阶段自蒸馏中，IPWD使PS-KD的top-1准确率在四种架构上提升了0.33%至0.82%。
• 在ResNeXt-29上，仅在最后75个周期应用IPWD，可达到83.30%的top-1准确率，优于PS-KD（82.72%）和早期应用IPWD（82.86%）。
• IPWD显著降低了期望校准误差（ECE）和平均不确定性排名（AURC），在ResNeXt-29上，ECE从9.15降至4.93，AURC从39.78降至37.49。
• 该方法在所有四种架构（ResNet-18、ResNet-101、DenseNet-121、ResNeXt-29）上均一致提升性能，展现出良好的泛化能力。
• 消融实验表明，早期应用IPWD会损害性能，证实了延迟应用的必要性。
• 在ImageNet上，IPWD提升了学生模型的准确率与校准性，验证了其在CIFAR-100之外及更复杂场景下的有效性。