[论文解读] Should Ensemble Members Be Calibrated?

Xixin Wu, Mark Gales|arXiv (Cornell University)|Jan 13, 2021

Anomaly Detection Techniques and Applications参考文献 33被引用 9

一句话总结

本文研究深度神经网络集成模型的校准问题，理论上和实证上均表明：对集成中的单个模型进行校准，并不能保证得到校准良好的集成预测结果。相反，必须对集成输出单独进行校准。其中，动态温度缩放（即应用区域特定的温度）在保持极低参数开销的前提下，实现了更优的校准效果。

ABSTRACT

Underlying the use of statistical approaches for a wide range of applications is the assumption that the probabilities obtained from a statistical model are representative of the "true" probability that event, or outcome, will occur. Unfortunately, for modern deep neural networks this is not the case, they are often observed to be poorly calibrated. Additionally, these deep learning approaches make use of large numbers of model parameters, motivating the use of Bayesian, or ensemble approximation, approaches to handle issues with parameter estimation. This paper explores the application of calibration schemes to deep ensembles from both a theoretical perspective and empirically on a standard image classification task, CIFAR-100. The underlying theoretical requirements for calibration, and associated calibration criteria, are first described. It is shown that well calibrated ensemble members will not necessarily yield a well calibrated ensemble prediction, and if the ensemble prediction is well calibrated its performance cannot exceed that of the average performance of the calibrated ensemble members. On CIFAR-100 the impact of calibration for ensemble prediction, and associated calibration is evaluated. Additionally the situation where multiple different topologies are combined together is discussed.

研究动机与目标

• 分析集成预测校准的理论条件。
• 研究已校准的集成成员与校准良好的集成预测之间存在的脱节现象。
• 评估后处理校准方法（尤其是温度缩放）在深度集成模型上的表现。
• 探索使用不同架构模型组合构建集成模型的影响。
• 提出并评估区域特定温度缩放方法，以提升校准性能。

提出的方法

• 基于底层数据分布而非仅基于样本极限的校准准则的理论分析。
• 在CIFAR-100数据集上，使用DenseNet、ResNet及其变体构建的深度集成模型进行校准的实证评估。
• 通过温度缩放实施后处理校准，包括全局模式、成员级（预处理）和集成级（后处理）模式。
• 引入基于区域的温度参数的动态温度缩放方法，以在不显著增加模型复杂度的前提下提升校准效果。
• 使用可靠性图和多种校准误差度量（ECE、ACE、SKCE）评估性能。
• 使用最大似然法和AUC优化拓扑集成中异构架构模型的权重。

实验结果

研究问题

• RQ1 对集成中单个成员进行校准是否能确保得到校准良好的集成预测？
• RQ2 集成成员的校准与最终集成输出的校准之间存在何种理论关系？
• RQ3 与全局缩放相比，区域特定温度缩放能否提升校准性能？
• RQ4 将不同架构的模型组合在一起对集成校准和性能有何影响？
• RQ5 在组合后对集成输出进行校准，是否比在组合前对单个成员进行校准更有效？

主要发现

• 对集成中单个成员进行校准，并不能确保得到校准良好的集成预测；集成输出仍显不足自信，必须进行独立校准。
• 组合后校准（即对集成输出进行校准）相比组合前校准，显著降低了校准误差（例如，RSN模型在动态缩放下ECE降低至1.20×10⁻²）。
• 采用6个区域的动态温度缩放实现了最佳校准性能（RSN模型SKCE = 57.87×10⁻⁴），并将ECE降低至1.20×10⁻²，优于全局缩放和预处理校准方法。
• 增加动态温度缩放中的区域数量可进一步提升校准效果，但会增加参数数量。
• 将LEN、DSN100、DSN121和RSN组合成拓扑集成模型，经后处理校准后达到83.86%的准确率和2.06×10⁻²的ECE，表现出对成员校准质量的鲁棒性。
• 即使成员模型已充分校准，集成预测仍校准不足，因此必须对集成输出进行专门校准。