[论文解读] On the Reproducibility of Neural Network Predictions

Srinadh Bhojanapalli, Michael J. Wilber+5 more|arXiv (Cornell University)|Feb 5, 2021

Neural Networks and Applications参考文献 34被引用 17

一句话总结

本文针对由训练随机性引起的神经网络预测波动问题，提出一种双重方法：通过最小熵正则化提升预测置信度，并引入基于对称KL散度的新型协同蒸馏方法以增强模型间的一致性。该方法在ImageNet上将预测波动降低高达50%，同时提升准确率与校准性，且训练成本低于标准蒸馏与集成方法。

ABSTRACT

Standard training techniques for neural networks involve multiple sources of randomness, e.g., initialization, mini-batch ordering and in some cases data augmentation. Given that neural networks are heavily over-parameterized in practice, such randomness can cause {\em churn} -- for the same input, disagreements between predictions of the two models independently trained by the same algorithm, contributing to the `reproducibility challenges' in modern machine learning. In this paper, we study this problem of churn, identify factors that cause it, and propose two simple means of mitigating it. We first demonstrate that churn is indeed an issue, even for standard image classification tasks (CIFAR and ImageNet), and study the role of the different sources of training randomness that cause churn. By analyzing the relationship between churn and prediction confidences, we pursue an approach with two components for churn reduction. First, we propose using \emph{minimum entropy regularizers} to increase prediction confidences. Second, \changes{we present a novel variant of co-distillation approach~\citep{anil2018large} to increase model agreement and reduce churn}. We present empirical results showing the effectiveness of both techniques in reducing churn while improving the accuracy of the underlying model.

研究动机与目标

• 探究尽管架构与数据完全相同，深度神经网络中预测波动的根本原因。
• 量化训练随机性（如权重初始化与小批量顺序）对测试样本上模型分歧的影响程度。
• 开发减少波动的方法，同时保留随机性，确保不同训练运行间预测结果稳定。
• 通过正则化与蒸馏提升模型置信度与一致性，增强真实世界机器学习应用中的可复现性。
• 评估波动降低、校准性与准确率之间的权衡，尤其与现有蒸馏与集成技术进行比较。

提出的方法

• 引入最小熵正则化，在训练过程中通过最小化模型输出的熵来提升预测置信度。
• 提出一种新型协同蒸馏框架，采用对称Kullback-Leibler（SKL）散度作为损失函数，以对齐两个学生模型的预测结果。
• 将熵正则化与基于SKL的协同蒸馏结合为单一训练目标，协同提升置信度与一致性。
• 采用双分支训练设置，两个模型在共享数据与知识蒸馏损失下同步训练。
• 使用交叉熵损失、熵正则化与对称KL损失的加权组合，平衡准确率、置信度与一致性。
• 在多个基准数据集上应用该方法：CIFAR-10、CIFAR-100、SVHN、iNaturalist与ImageNet，并对超参数与权重衰减进行消融研究。

实验结果

研究问题

• RQ1 在标准随机优化训练下，神经网络中预测波动的主要来源是什么？
• RQ2 模型预测置信度与波动之间有何关联？提升置信度是否能减少独立训练模型间的分歧？
• RQ3 与基于交叉熵的蒸馏相比，使用对称KL散度的协同蒸馏是否能更有效地降低预测方差与模型分歧？
• RQ4 结合熵正则化与基于SKL的协同蒸馏是否能比单独使用任一组件或现有方法实现更优的波动降低与准确率提升？
• RQ5 所提方法对模型校准性有何影响，尤其与标签平滑与集成蒸馏相比如何？

主要发现

• 即使在固定数据与架构条件下，预测波动仍显著存在，五次独立训练的ResNet-v2-50模型在ImageNet上分歧最高可达20%。
• 所提出的基于对称KL的协同蒸馏（Co-distill_SKL）相比基线方法在ImageNet上将波动降低50%，优于标准的Co-distill_CE方法。
• 最小熵正则化通过提升预测置信度降低波动，但导致校准误差上升（ImageNet上ECE从3.71升至6.17）。
• 熵正则化与Co-distill_SKL的联合方法实现了最低波动与具有竞争力的准确率，ImageNet上ECE为3.89，接近2-ensemble蒸馏的2.14，但训练成本仅为一半。
• Co-distill_SKL将ECE从11.97（Co-distill_CE）降低至2.44，表明尽管置信度较低，但校准性显著改善。
• 消融研究证实两者的互补性：熵正则化降低熵，协同蒸馏降低预测方差，二者结合时性能更优。