[论文解读] Parametric and Multivariate Uncertainty Calibration for Regression and Object Detection

Fabian Küppers, Jonas Schneider+1 more|arXiv (Cornell University)|Jul 4, 2022

Gaussian Processes and Bayesian Inference被引用 6

一句话总结

本文提出了一种基于高斯过程的校准框架，用于概率性目标检测模型，可实现参数化不确定性校准（高斯/柯西分布）及多变量协方差估计。结果表明，等距回归（Isotonic Regression）在分位数校准方面表现最优，而所提出的多变量GP-正态方法在下游应用（如卡尔曼滤波）中的方差校准效果最佳。

ABSTRACT

Reliable spatial uncertainty evaluation of object detection models is of special interest and has been subject of recent work. In this work, we review the existing definitions for uncertainty calibration of probabilistic regression tasks. We inspect the calibration properties of common detection networks and extend state-of-the-art recalibration methods. Our methods use a Gaussian process (GP) recalibration scheme that yields parametric distributions as output (e.g. Gaussian or Cauchy). The usage of GP recalibration allows for a local (conditional) uncertainty calibration by capturing dependencies between neighboring samples. The use of parametric distributions such as as Gaussian allows for a simplified adaption of calibration in subsequent processes, e.g., for Kalman filtering in the scope of object tracking. In addition, we use the GP recalibration scheme to perform covariance estimation which allows for post-hoc introduction of local correlations between the output quantities, e.g., position, width, or height in object detection. To measure the joint calibration of multivariate and possibly correlated data, we introduce the quantile calibration error which is based on the Mahalanobis distance between the predicted distribution and the ground truth to determine whether the ground truth is within a predicted quantile. Our experiments show that common detection models overestimate the spatial uncertainty in comparison to the observed error. We show that the simple Isotonic Regression recalibration method is sufficient to achieve a good uncertainty quantification in terms of calibrated quantiles. In contrast, if normal distributions are required for subsequent processes, our GP-Normal recalibration method yields the best results. Finally, we show that our covariance estimation method is able to achieve best calibration results for joint multivariate calibration.

研究动机与目标

• 解决目标检测中多变量回归任务缺乏参数化不确定性校准的问题。
• 实现空间维度（如位置、宽度、高度）之间的后验协方差估计，以建模条件相关性。
• 评估并比较不同校准方法在概率检测模型中的分位数校准与方差校准性能。
• 提供一种灵活、开源的校准框架，兼容自动驾驶等安全关键型应用。

提出的方法

• 使用高斯过程（GP）校准来估计输入相关的不确定性参数，将非参数化输出替换为参数化分布（高斯或柯西分布）。
• 应用GP-正态校准方法，生成具有完整协方差矩阵的校准多变量正态分布。
• 引入基于马氏距离的分位数校准误差度量，以评估联合多变量校准性能。
• 通过基于GP的不确定性建模，学习输出维度之间的相关性，实现后验协方差估计。
• 采用等距回归与方差缩放作为基线方法进行比较。
• 在具有空间不确定性输出的概率性RetinaNet模型上验证所提方法。

实验结果

研究问题

• RQ1 基于高斯过程的校准能否生成可靠的参数化不确定性分布（如正态分布），适用于卡尔曼滤波？
• RQ2 结合协方差估计的联合多变量校准是否优于边缘化方法？
• RQ3 不同校准方法在分位数校准与方差校准方面的表现如何比较？
• RQ4 在目标检测中，预测误差分布更接近正态分布还是柯西分布？
• RQ5 空间位置是否影响误差分布，从而支持条件校准的必要性？

主要发现

• 常见概率性目标检测模型在空间不确定性估计方面存在过度低估现象。
• 预测误差分布比正态分布更接近柯西分布。
• 等距回归因在形状调整累积分布函数方面具有灵活性，实现了最佳的分位数校准性能。
• 多变量GP-正态方法在方差校准方面表现最佳，当需要参数化矩时优于其他方法。
• 预测误差与目标位置之间无显著相关性，表明分位数校准中边缘化校准已足够。
• 所提出的GP-正态方法可实现精确的后验协方差估计，从而提升联合多变量校准性能。