[论文解读] Recalibration of Aleatoric and Epistemic Regression Uncertainty in Medical Imaging

Max-Heinrich Laves, Sontje Ihler+3 more|arXiv (Cornell University)|Apr 26, 2021

Anomaly Detection Techniques and Applications被引用 6

一句话总结

本文提出了一种简单而有效的方法——$σ$ 缩放，通过蒙特卡洛 dropout 在医学影像的深度回归模型中重新校准偶然性不确定性和认知性不确定性。结果表明，$σ$ 缩放显著降低了不确定性校准误差（以未校准不确定性误差，UCE 衡量），同时保持了预测准确性，从而实现了可靠的分布外样本检测以及基于不确定性的不可靠预测拒绝。

ABSTRACT

The consideration of predictive uncertainty in medical imaging with deep learning is of utmost importance. We apply estimation of both aleatoric and epistemic uncertainty by variational Bayesian inference with Monte Carlo dropout to regression tasks and show that predictive uncertainty is systematically underestimated. We apply $ \\sigma $ scaling with a single scalar value; a simple, yet effective calibration method for both types of uncertainty. The performance of our approach is evaluated on a variety of common medical regression data sets using different state-of-the-art convolutional network architectures. In our experiments, $ \\sigma $ scaling is able to reliably recalibrate predictive uncertainty. It is easy to implement and maintains the accuracy. Well-calibrated uncertainty in regression allows robust rejection of unreliable predictions or detection of out-of-distribution samples. Our source code is available at https://github.com/mlaves/well-calibrated-regression-uncertainty

研究动机与目标

• 解决深度学习模型在医学影像中普遍存在的预测不确定性校准不当问题。
• 在医学中常见的低数据场景下，提升不确定性估计的可靠性，以支持临床决策。
• 开发一种简单而有效的校准方法，在保持模型准确性的前提下增强不确定性估计的可靠性。
• 通过校准良好的不确定性，实现对分布外样本的鲁棒检测，并实现对不可靠预测的拒绝。
• 在分布偏移条件下，将 $σ$ 缩放与更复杂的校准方法及深度集成模型进行性能比较。

提出的方法

• 作者使用变分贝叶斯推断结合蒙特卡洛 dropout，估计回归任务中的偶然性与认知性不确定性。
• 应用 $σ$ 缩放——一种单一标量缩放因子——对预测不确定性进行重新校准，以提升其与实际模型误差的一致性。
• 在校准过程中，使用闭式解在独立的验证集上最小化不确定性校准误差（UCE）。
• 该方法在多个医学影像数据集和最先进的 CNN 架构（包括 EfficientNet-B4 和 DenseNet-201）上进行了评估。
• 将该方法与辅助模型缩放（aux scaling）及深度集成模型在不确定性校准和分布外检测方面进行比较。
• 通过设定阈值 $Σ_{\text{max}}^{2}$ 实现基于不确定性的预测拒绝，即拒绝不确定性高于该值的预测。

实验结果

研究问题

• RQ1 在不降低预测准确性的情况下，$σ$ 缩放能否有效重新校准医学影像回归中的偶然性与认知性不确定性？
• RQ2 在不确定性校准和分布偏移下的鲁棒性方面，$σ$ 缩放与更复杂的校准方法（如 aux scaling）及深度集成模型相比表现如何？
• RQ3 来自蒙特卡洛 dropout 的良好校准不确定性在多大程度上能够检测分布外样本，并实现对不确定预测的可靠拒绝？
• RQ4 在不同严重程度的数据分布偏移下，$σ$ 缩放的性能是下降还是提升？与深度集成模型相比表现如何？
• RQ5 当模型本身已充分校准时，$σ$ 缩放是否仍有效，还是仅对校准不当的模型有改善作用？

主要发现

• $σ$ 缩放方法在所有评估的数据集和架构上均显著降低了不确定性校准误差，表现为未校准不确定性误差（UCE）大幅下降。
• 经过 $σ$ 缩放后，99% 的后验预测区间准确包含了约 99% 的真实值，表明预测区间的校准性极强。
• 该方法保持了预测准确性，因为 $σ$ 缩放不改变预测均值 $ˆ{\bm{y}}$，从而确保性能无下降。
• 在基于不确定性的预测拒绝中，$σ$-缩放后的不确定性表现出随着拒绝阈值增加，均方误差（MSE）单调递减的特性，而深度集成模型则呈现初期 MSE 上升的趋势。
• 在中等程度的分布偏移下，$σ$-缩放的蒙特卡洛 dropout 表现与深度集成模型相当；但在严重偏移下，集成模型仍更敏感，而 $σ$-缩放模型仅表现出略微增加的不确定性。
• 在最小的数据集（BreastPathQ）上，aux scaling 在预测区间覆盖率方面略优于 $σ$ 缩放，但在 UCE 上表现不佳，表明 $σ$ 缩放整体更具鲁棒性。