[论文解读] Non-Parametric Calibration of Probabilistic Regression

Hao Song, Meelis Kull+1 more|arXiv (Cornell University)|Jun 20, 2018

Neural Networks and Applications参考文献 2被引用 3

一句话总结

本文提出了一种非参数校准方法，用于概率回归，通过校准从回归模型导出的累积分布函数（CDF），以改进预测密度估计。该方法引入了两种经验校准方法（e-logistic 和 e-beta）以及一种基于高斯过程分类器的方法（GPC），学习平滑的校准函数，在不假设目标分布参数形式的前提下，显著提升了模型在预测似然性上的表现。

ABSTRACT

The task of calibration is to retrospectively adjust the outputs from a machine learning model to provide better probability estimates on the target variable. While calibration has been investigated thoroughly in classification, it has not yet been well-established for regression tasks. This paper considers the problem of calibrating a probabilistic regression model to improve the estimated probability densities over the real-valued targets. We propose to calibrate a regression model through the cumulative probability density, which can be derived from calibrating a multi-class classifier. We provide three non-parametric approaches to solve the problem, two of which provide empirical estimates and the third providing smooth density estimates. The proposed approaches are experimentally evaluated to show their ability to improve the performance of regression models on the predictive likelihood.

研究动机与目标

• 定义并形式化概率回归中的校准概念，将分类中的概念扩展至连续目标变量。
• 解决当回归模型做出错误的分布假设（例如，高斯残差）时，改进概率密度估计的挑战。
• 开发无需事先了解目标变量真实分布族的非参数校准技术。
• 评估事后校准预测 CDF 是否能带来更校准且更准确的密度估计。
• 在多种回归数据集和设置下，比较经验校准（e-logistic、e-beta）与平滑校准（GPC）的性能。

提出的方法

• 在校准预测密度的累积分布函数（CDF）上进行校准，利用校准 CDF 与校准密度函数之间的联系。
• 提出两种经验校准方法——e-logistic 和 e-beta，通过一对多 CDF 预测，将分类中的逻辑斯蒂与贝塔校准方法扩展至回归。
• GPC 方法使用高斯过程分类器，学习基于预测 CDF 值的平滑、非参数校准函数，实现连续且灵活的校正。
• 校准框架使用一组离散目标值（8 至 64 个）对连续 CDF 进行离散化，将预测映射到这些值以用于训练。
• 对于 GPC，训练期间最多使用 5,000 个来自基础模型的 CDF 值，以保持计算效率，尽管这可能在目标集较大时降低性能。
• 该方法避免对密度函数做参数假设，因此适用于复杂、未知或非高斯的目标分布。

实验结果

研究问题

• RQ1 能否有意义地将分类中的校准概念扩展至具有连续目标的概率回归？
• RQ2 对累积分布函数（CDF）进行校准是否能带来更校准且更准确的条件密度估计？
• RQ3 经验校准方法（e-logistic、e-beta）与平滑的非参数 GPC 方法相比，在提升预测似然性方面表现如何？
• RQ4 离散化目标值的数量对校准性能有何影响？
• RQ5 校准能否纠正标准回归模型（如 OLS）中因分布假设不匹配（例如，高斯残差）而导致的问题？

主要发现

• 所提出的校准方法在大多数数据集和设置下，相较于未校准模型，均一致地提升了预测似然性，其中基于 GPC 的方法表现最佳。
• e-beta 方法在大多数情况下优于 e-logistic，尤其因其能够建模非 S 型校准函数，从而更好地捕捉复杂密度形状。
• 经验方法（e-logistic、e-beta）在目标值数量较多时（如 64 个）性能下降，可能由于经验估计带来的方差增加和过拟合。
• GPC 方法在目标值数量较大时表现更优，但在 64 个目标值时性能下降，原因在于仅使用了 5,000 个 CDF 样本，表明速度与精度之间存在权衡。
• 在目标值极少（如 8 个）的情况下，校准方法表现不如未校准模型，因为 CDF 信息不足，限制了有效学习。
• 结果证实，对 CDF 的非参数校准是重新训练或重新建模的可行且有效的替代方案，尤其在真实分布未知或错误指定时。