[论文解读] The Calibration Generalization Gap

A. Michael Carrell, Neil Mallinar+2 more|arXiv (Cornell University)|Oct 5, 2022

Machine Learning and Data Classification被引用 5

一句话总结

本文将校准误差分解为训练校准误差与校准泛化差距，类似于标准泛化理论。实证结果表明，深度神经网络在其训练数据上几乎总是校准良好的（TrainECE ≈ 0），且校准泛化差距由标准泛化差距所上界控制，这意味着泛化差距较小的模型也具有良好的校准性。

ABSTRACT

Calibration is a fundamental property of a good predictive model: it requires that the model predicts correctly in proportion to its confidence. Modern neural networks, however, provide no strong guarantees on their calibration -- and can be either poorly calibrated or well-calibrated depending on the setting. It is currently unclear which factors contribute to good calibration (architecture, data augmentation, overparameterization, etc), though various claims exist in the literature. We propose a systematic way to study the calibration error: by decomposing it into (1) calibration error on the train set, and (2) the calibration generalization gap. This mirrors the fundamental decomposition of generalization. We then investigate each of these terms, and give empirical evidence that (1) DNNs are typically always calibrated on their train set, and (2) the calibration generalization gap is upper-bounded by the standard generalization gap. Taken together, this implies that models with small generalization gap (|Test Error - Train Error|) are well-calibrated. This perspective unifies many results in the literature, and suggests that interventions which reduce the generalization gap (such as adding data, using heavy augmentation, or smaller model size) also improve calibration. We thus hope our initial study lays the groundwork for a more systematic and comprehensive understanding of the relation between calibration, generalization, and optimization.

研究动机与目标

• 澄清不同架构与设置下深度神经网络校准性研究结果不一致的实证发现。
• 解决缺乏系统性框架来理解影响深度神经网络校准性的因素的问题。
• 提出一种类似于泛化理论的校准误差分解方法，将优化（训练集）与泛化（测试集）部分分离。
• 实证研究不同模型架构与训练策略下训练与测试校准误差的行为。
• 通过泛化理论的视角统一解释校准性的不同观察结果（例如数据增强、模型大小等）。

提出的方法

• 提出将测试校准误差分解为训练校准误差（TrainECE）与校准泛化差距（|TestECE - TrainECE|），与标准泛化理论相呼应。
• 使用期望校准误差（ECE）作为量化训练集与测试集校准误差的主要指标。
• 在多种设置下实证评估TrainECE与校准泛化差距：包括架构、模型大小、训练时长、数据增强与数据集规模。
• 比较过参数化与欠参数化模型，以研究有效参数化在模型校准中的作用。
• 分析误差泛化差距与校准泛化差距之间的关系，表明后者由前者所上界控制。
• 在多个数据集与模型族上开展实验，以验证研究结果的稳健性。

实验结果

研究问题

• RQ1 在何种条件下，深度神经网络在其训练数据上是校准良好的？
• RQ2 校准泛化差距是否在误差意义上由标准泛化差距所上界控制？
• RQ3 架构选择（如过参数化或数据增强）如何影响校准泛化差距？
• RQ4 减少标准泛化差距的干预措施（如数据增强、更小的模型）在多大程度上也能改善校准性？
• RQ5 能否通过泛化理论的视角系统性地理解深度神经网络的校准行为？

主要发现

• 使用交叉熵损失训练的深度神经网络在训练集上表现出实证上的良好校准性，无论架构、模型大小或训练阶段如何，TrainECE ≈ 0，即使训练误差较高。
• 在整个训练过程中，校准泛化差距（|TestECE - TrainECE|）在实证上由标准泛化差距（|TestError - TrainError|）所上界控制。
• 过参数化模型在训练过程中表现出不断增长的校准泛化差距，且与测试误差的增加相关；而欠参数化模型则保持低校准误差与低差距。
• 校准泛化差距在训练早期即出现并保持稳定，过参数化模型与欠参数化模型在测试ECE上表现出显著差异。
• 误差泛化差距与校准泛化差距之间的线性关系在多种架构与训练批次中均成立。
• 减少标准泛化差距的干预措施（如数据增强、增加数据量或减小模型规模）可预期改善校准性，从而统一了此前看似不一致的观察结果。