[论文解读] Quantile Regularization: Towards Implicit Calibration of Regression Models

Saiteja Utpala, Piyush Rai|arXiv (Cornell University)|Feb 28, 2020

Adversarial Robustness in Machine Learning参考文献 31被引用 5

一句话总结

本文提出了一种新型的端到端可训练正则化方法——分位数正则化（Quantile Regularization），通过最小化预测累积分布函数（CDF）与目标变量经验累积分布函数之间的累积KL散度，提升回归模型的校准性能。与事后校准方法不同，该方法无需额外的校准数据，在小样本数据集上表现尤为出色，相比等倾校准（isotonic recalibration）可将校准误差降低高达60%，在多种回归基准测试中均表现优异。

ABSTRACT

Recent works have shown that most deep learning models are often poorly calibrated, i.e., they may produce overconfident predictions that are wrong. It is therefore desirable to have models that produce predictive uncertainty estimates that are reliable. Several approaches have been proposed recently to calibrate classification models. However, there is relatively little work on calibrating regression models. We present a method for calibrating regression models based on a novel quantile regularizer defined as the cumulative KL divergence between two CDFs. Unlike most of the existing approaches for calibrating regression models, which are based on post-hoc processing of the model's output and require an additional dataset, our method is trainable in an end-to-end fashion without requiring an additional dataset. The proposed regularizer can be used with any training objective for regression. We also show that post-hoc calibration methods like Isotonic Calibration sometimes compound miscalibration whereas our method provides consistently better calibrations. We provide empirical results demonstrating that the proposed quantile regularizer significantly improves calibration for regression models trained using approaches, such as Dropout VI and Deep Ensembles.

研究动机与目标

• 为解决回归模型缺乏有效、可训练的校准方法的问题，这些模型通常过于自信且校准性差。
• 开发一种可端到端训练的校准方法，避免依赖额外标注数据的后处理校准。
• 提升深度学习回归模型中预测不确定性估计的可靠性。
• 提供一种通用正则化器，可兼容任何输出预测均值和方差的回归模型。
• 证明后处理校准方法（如等倾回归）在小样本数据集上有时会恶化校准性能。

提出的方法

• 提出一种新颖的分位数正则化器，定义为预测CDF与目标变量经验CDF之间累积KL散度。
• 将正则化器直接集成到训练目标中，实现端到端优化，无需单独的校准数据集。
• 该方法适用于任何输出预测均值和方差的回归模型，如Dropout-变分推断（Dropout-VI）和深度集成（Deep Ensembles）。
• 正则化器促使模型预测的分位数与真实经验分位数对齐，从而改善边缘校准性能。
• 理论分析表明，在弱假设下最小化该正则化器可实现分位数校准。
• 实验评估以校准误差（CE）为主要指标，并与等倾校准和基线模型进行比较。

实验结果

研究问题

• RQ1 是否可训练的、端到端的正则化器能在不依赖额外校准数据集的情况下提升回归模型的校准性能？
• RQ2 所提出的分位数正则化器是否在多种回归任务中始终优于等倾回归等后处理校准方法？
• RQ3 在数据稀缺的小样本数据集上，该正则化器的性能如何，后处理方法常因数据不足而失效？
• RQ4 该正则化器是否在不降低预测精度或增加方差的前提下改善校准性能？
• RQ5 该正则化器是否可推广至不同回归架构和不确定性估计方法？

主要发现

• 在测试的全部10个回归数据集中，分位数正则化显著降低了校准误差，相比基线模型相对改进最高达60%。
• 在Air Foil和Boston Housing数据集上，等倾校准分别使校准误差增加79%和34%，而分位数正则化则分别降低了32.5%和28.1%。
• 在Protein Structure和Year Prediction MSD数据集上，等倾校准使误差从0.09%上升至0.05%，而分位数正则化分别将误差维持在3.07%和2.41%的低水平。
• 该方法在不同基础模型（包括Dropout-VI和Deep Ensembles）上均一致提升校准性能，证明其广泛适用性。
• 随着正则化强度λ的增加，Concrete Strength、Protein Structure和Year Prediction MSD数据集上的校准误差单调递减，表明优化过程稳定。
• 所提出的正则化器被证明是真实校准误差的一致估计量，具有理论收敛保证。