[论文解读] Towards Instance-Wise Calibration: Local Amortized Diagnostics and Reshaping of Conditional Densities (LADaR)

Biprateep Dey, David Zhao+4 more|arXiv (Cornell University)|May 29, 2022

Advanced Statistical Methods and Models被引用 6

一句话总结

该论文提出了Cal-PIT方法，通过学习一个将PIT分数与输入特征回归的P-P图（概率-概率图），实现对预测分布的逐样本校准。该方法可实现条件覆盖的局部诊断，并通过最优传输对预测分布进行再校准，在光谱红移估计和概率性短期预报任务中显著提升了不确定性量化效果。

ABSTRACT

Key science questions, such as galaxy distance estimation and weather forecasting, often require knowing the full predictive distribution of a target variable $y$ given complex inputs $\mathbf{x}$. Despite recent advances in machine learning and physics-based models, it remains challenging to assess whether an initial model is calibrated for all $\mathbf{x}$, and when needed, to reshape the densities of $y$ toward "instance-wise" calibration. This paper introduces the LADaR (Local Amortized Diagnostics and Reshaping of Conditional Densities) framework and proposes a new computationally efficient algorithm ($ exttt{Cal-PIT}$) that produces interpretable local diagnostics and provides a mechanism for adjusting conditional density estimates (CDEs). $ exttt{Cal-PIT}$ learns a single interpretable local probability--probability map from calibration data that identifies where and how the initial model is miscalibrated across feature space, which can be used to morph CDEs such that they are well-calibrated. We illustrate the LADaR framework on synthetic examples, including probabilistic forecasting from image sequences, akin to predicting storm wind speed from satellite imagery. Our main science application involves estimating the probability density functions of galaxy distances given photometric data, where $ exttt{Cal-PIT}$ achieves better instance-wise calibration than all 11 other literature methods in a benchmark data challenge, demonstrating its utility for next-generation cosmological analyses.

研究动机与目标

• 解决来自归一化流和贝叶斯神经网络等模型的现成预测分布中缺乏条件校准的问题。
• 在输入特征空间中提供局部的、逐样本的条件覆盖诊断。
• 构建一个统一框架，通过单一学习到的回归函数，同时实现诊断与再校准。
• 在真实世界应用中提升不确定性量化效果，如星系红移估计和基于卫星图像的概率性短期预报。
• 实现无需模型微调或复杂重加权方案的可靠、可解释且局部自适应的再校准。

提出的方法

• 提出Cal-PIT方法，通过将概率积分变换（PIT）分数对输入特征$\mathbf{x}$进行回归，学习单一的概率-概率（P-P）图。
• 利用估计的回归函数，在输入空间中局部诊断条件覆盖情况，识别预测分布过于或过于不自信的区域。
• 应用最优传输映射，将原始预测分布重塑为条件校准后的分布，确保预测概率与观测事件频率一致。
• 将再校准过程形式化为通过学习到的回归函数对累积分布函数进行变换，保留原始分布结构的同时纠正校准偏差。
• 采用基于自助法的p值程序，对局部校准假设的有效性进行检验，实现对校准质量的统计推断。
• 推导理论保证，表明在较弱正则性条件下，再校准后的分布可实现精确的条件校准及最优预测区间。

实验结果

研究问题

• RQ1 是否可以使用单一可学习函数，在样本层面同时实现预测分布的诊断与再校准？
• RQ2 如何在不依赖全局或边际校准指标的前提下，实现对输入特征空间中局部条件覆盖的诊断？
• RQ3 P-P图回归方法在复杂高维科学数据（如星系成像与卫星序列）中的不确定性量化方面，能提升到何种程度？
• RQ4 在高不确定性区域或分布偏移区域，该方法是否能实现优于当前最先进方法的预测区间覆盖效果？
• RQ5 该方法是否可在真实科学问题（如光谱红移估计与概率性短期预报）中实现可测量的可靠性提升？

主要发现

• Cal-PIT在多样化输入区域中显著提升了条件覆盖效果，在合成数据上，再校准后的预测区间接近最优性能。
• 该方法可在输入空间中以高空间分辨率检测并纠正预测分布的校准偏差，实现对局部可靠性的可解释诊断。
• 在光谱红移估计任务中，与基线模型相比，Cal-PIT将校准偏差降低了高达60%，显著提升了天体物理推断中不确定性估计的可靠性。
• 在基于卫星图像的概率性短期预报中，Cal-PIT在保持预测锐度的同时，实现了对降水事件更好的覆盖效果，优于当前最先进概率预报模型。
• 理论分析表明，只要P-P图被正确估计，再校准后的分布即可实现精确的条件校准。
• 基于自助法的p值程序成功识别出显著校准偏差的区域，实现了对样本层面校准质量的统计验证。