[论文解读] Positive-Congruent Training: Towards Regression-Free Model Updates

Sijie Yan, Yuanjun Xiong+6 more|arXiv (Cornell University)|Nov 18, 2020

Adversarial Robustness in Machine Learning参考文献 36被引用 5

一句话总结

本文提出正向一致训练（PCT）以减少AI模型更新过程中的回归问题，通过最小化负向翻转（即旧模型正确预测而新模型出错的样本）来实现。该方法采用聚焦蒸馏（Focal Distillation），一种加权蒸馏损失，优先处理参考模型正确分类的样本。该方法将负向翻转率降低最多达30%，且不损害准确率；进一步地，通过集成参考模型，可进一步提升一致性，同时保持性能。

ABSTRACT

Reducing inconsistencies in the behavior of different versions of an AI system can be as important in practice as reducing its overall error. In image classification, sample-wise inconsistencies appear as "negative flips": A new model incorrectly predicts the output for a test sample that was correctly classified by the old (reference) model. Positive-congruent (PC) training aims at reducing error rate while at the same time reducing negative flips, thus maximizing congruency with the reference model only on positive predictions, unlike model distillation. We propose a simple approach for PC training, Focal Distillation, which enforces congruence with the reference model by giving more weights to samples that were correctly classified. We also found that, if the reference model itself can be chosen as an ensemble of multiple deep neural networks, negative flips can be further reduced without affecting the new model's accuracy.

研究动机与目标

• 解决模型更新中的回归问题，即新模型在旧模型正确分类的样本上引入错误。
• 形式化在模型更新过程中保持正向一致性（即保留参考模型的正确预测）的问题。
• 开发一种实用的训练方法，使新模型在不增加错误率的前提下最小化负向翻转率。
• 探究集成参考模型是否可在未来更新中实现更低的回归风险。

提出的方法

• 提出聚焦蒸馏（FD），一种知识蒸馏的变体，训练过程中为参考模型正确预测的样本分配更高权重。
• 引入一种改进的蒸馏损失，强调正向一致样本，降低负向翻转的可能性。
• 使用结合标准分类损失与聚焦蒸馏损失的加权交叉熵损失，以平衡准确率与一致性。
• 利用深度集成模型的不确定性估计，分析预测置信度与负向翻转之间的关系。
• 探索使用集成模型作为参考模型，以减少后续更新中的负向翻转率。
• 训练新模型时采用与不采用PCT的方法，对比训练过程中错误率与相对负向翻转率的演变。

实验结果

研究问题

• RQ1 能否设计一种训练方法，在模型更新过程中降低负向翻转率而不增加整体错误率？
• RQ2 基于参考模型中样本正确性的加权是否能提升新模型中的一致性？
• RQ3 即使集成模型在推理阶段不被使用，是否仍可通过集成参考模型来减少后续更新中的负向翻转率？
• RQ4 在训练过程中，标准训练与PCT在负向翻转率演变方面有何差异？
• RQ5 预测不确定性与样本成为负向翻转的可能性之间是否存在相关性？

主要发现

• 与标准训练相比，聚焦蒸馏将负向翻转率（NFR）降低最多达30%，且对错误率影响极小。
• 在ImageNet-ILSVRC12上，聚焦蒸馏将NFR从23.65%（无处理）降低至2.85%（FD-LM），同时将错误率保持在28.45%。
• 集成参考模型后，NFR降至2.75%，错误率降至26.39%，展现出面向未来PCT评估的典范级性能。
• 负向翻转率在训练过程中与错误率同步演变，但聚焦蒸馏从早期训练阶段起即形成并维持相对NFR的差距。
• 成为负向翻转的样本并未表现出一致更高的不确定性，表明不确定性本身并非负向翻转的可靠预测指标。
• 聚焦蒸馏在训练初期即实现相对NFR的快速下降，且该差距持续至训练结束，表明与参考模型实现了有效的早期对齐。