[论文解读] When and How Mixup Improves Calibration

Linjun Zhang, Zhun Deng+2 more|arXiv (Cornell University)|Feb 11, 2021

Adversarial Robustness in Machine Learning参考文献 43被引用 8

一句话总结

本文从理论上解释了为何Mixup在高维设置下能提升模型校准性能，表明其校准优势随模型容量增加而增强。本文理论证明了在监督学习与半监督学习中，Mixup可降低期望校准误差（ECE）与最大校准误差（MCE），尤其在更深或更宽的网络中效果更显著，基于高斯生成模型并结合CIFAR-10/100与MNIST数据集的实证验证。

ABSTRACT

In many machine learning applications, it is important for the model to provide confidence scores that accurately capture its prediction uncertainty. Although modern learning methods have achieved great success in predictive accuracy, generating calibrated confidence scores remains a major challenge. Mixup, a popular yet simple data augmentation technique based on taking convex combinations of pairs of training examples, has been empirically found to significantly improve confidence calibration across diverse applications. However, when and how Mixup helps calibration is still a mystery. In this paper, we theoretically prove that Mixup improves calibration in extit{high-dimensional} settings by investigating natural statistical models. Interestingly, the calibration benefit of Mixup increases as the model capacity increases. We support our theories with experiments on common architectures and datasets. In addition, we study how Mixup improves calibration in semi-supervised learning. While incorporating unlabeled data can sometimes make the model less calibrated, adding Mixup training mitigates this issue and provably improves calibration. Our analysis provides new insights and a framework to understand Mixup and calibration.

研究动机与目标

• 理解Mixup在何种条件下以及如何改善模型校准，特别是在模型容量较大的高维设置下。
• 分析Mixup在半监督学习中的作用，特别是其在缓解伪标签导致的校准性能下降方面的作用。
• 将理论分析从期望校准误差（ECE）扩展到最大校准误差（MCE），并确认一致的改进效果。
• 提供一个理论框架，将Mixup的隐式正则化与改进的不确定性量化联系起来。
• 通过实证验证，表明Mixup带来的校准增益在更深、更宽的神经网络中最为显著。

提出的方法

• 在高斯生成模型下进行理论分析，将数据建模为高斯随机变量的非线性变换。
• 通过分析高维情形下的期望损失与校准误差，推导出Mixup降低ECE的条件。
• 采用变分方法刻画Mixup下最优决策边界的特性，表明其预测结果更平滑且校准性更好。
• 将理论结果扩展至最大校准误差（MCE），证明其亦获得类似改进。
• 在CIFAR-10、CIFAR-100、Fashion-MNIST与Kuzushiji-MNIST数据集上进行实证验证，使用全连接网络与预激活ResNet-18。
• 实验通过调整模型宽度与深度，采用Beta(1,1)分布的Mixup，并使用ECE与MCE指标比较校准性能。

实验结果

研究问题

• RQ1 在何种条件下，Mixup能改善高维设置下的模型校准？
• RQ2 为何Mixup的校准优势随模型容量增加而增强，特别是在更深或更宽的网络中？
• RQ3 当与伪标签结合时，Mixup在半监督学习中如何影响模型校准？
• RQ4 Mixup在ECE上的理论优势能否推广至最大校准误差（MCE）？
• RQ5 Mixup是否能缓解在半监督学习中使用未标记数据时常出现的校准性能下降问题？

主要发现

• 在高维设置下，Mixup显著降低了期望校准误差（ECE），尤其在更宽或更深的神经网络中效果更明显。
• 理论与实证结果均表明，Mixup带来的校准改进随模型容量增加而增强，尤其在CIFAR-10与CIFAR-100数据集上验证。
• 在半监督学习中，Mixup能抵消伪标签带来的负面校准影响，在所有数据集中均一致地提升了校准性能。
• 理论分析证实，Mixup同样降低了MCE，且在高维情形下表现出相似趋势。
• 实证结果表明，对于容量更大的模型，尤其是结合数据增强时，Mixup能更有效地降低测试损失与校准误差。
• 理论分析表明，校准性能的提升源于Mixup的隐式正则化，其导致更平滑的决策边界与更优的不确定性估计。