[论文解读] Probabilistic Conformal Prediction Using Conditional Random Samples

Zhendong Wang, Ruijiang Gao+3 more|arXiv (Cornell University)|Jun 14, 2022

Neural Networks and Applications被引用 4

一句话总结

本文提出了概率 conformal 预测（PCP），一种通过从条件生成模型中采样并在样本周围形成球体并集来构建针对多模态和多目标回归的精确、有效预测集的方法。PCP 确保了有限样本的边际覆盖，并在复杂、非连续的目标分布（如出租车下车站点）上，相较于现有 conformal 方法展现出更优的精确度。

ABSTRACT

This paper proposes probabilistic conformal prediction (PCP), a predictive inference algorithm that estimates a target variable by a discontinuous predictive set. Given inputs, PCP construct the predictive set based on random samples from an estimated generative model. It is efficient and compatible with either explicit or implicit conditional generative models. Theoretically, we show that PCP guarantees correct marginal coverage with finite samples. Empirically, we study PCP on a variety of simulated and real datasets. Compared to existing methods for conformal inference, PCP provides sharper predictive sets.

研究动机与目标

• 为解决现有 conformal 预测方法在目标分布为多模态时产生连续、过宽预测集的局限性。
• 开发一种方法，在保持有限样本边际覆盖的同时，通过适应目标密度分布，生成更精确、更具信息量的预测集。
• 实现与显式和隐式条件生成模型（包括无似然设置）的兼容性。
• 通过基于高密度集合构建来捕捉目标间依赖关系，将该框架扩展至多目标回归。
• 通过实证验证，在合成数据和真实世界数据集（包括纽约市出租车下车站点预测）上，PCP 在精确度和有效覆盖方面均表现更优。

提出的方法

• PCP 将数据划分为初步集和校准集，以在初步集上训练条件生成模型。
• 对于每个校准点，从拟合的模型中独立生成 K 个样本，并将每个样本与真实标签之间的距离计算为非符合性得分。
• 然后计算这些非符合性得分的 (1−α) 经验分位数，以定义预测球体的半径。
• 对于新输入，PCP 从模型中生成 K 个样本，在每个样本周围以校准分位数为半径形成球体，并取其并集作为预测集。
• 高密度 PCP（HD-PCP）通过仅选择最可能的样本进一步优化集合，提升稀疏性和可解释性。
• 该方法兼容隐式模型，仅需能够从条件分布中生成随机样本。

实验结果

研究问题

• RQ1 是否存在一种 conformal 预测方法，能够在目标分布为多模态时生成有效且精确的预测集，而连续区间并非最优？
• RQ2 如何使 conformal 预测方法高效适配隐式或无似然的条件生成模型？
• RQ3 基于生成模型随机样本的球体并集方法是否能保持有限样本的边际覆盖？
• RQ4 在真实世界和合成数据上，PCP 与现有 conformal 方法相比，在集合大小和覆盖性能方面表现如何？
• RQ5 PCP 和 HD-PCP 是否能有效建模多目标回归中的依赖关系，同时保持精确度和有效性？

主要发现

• PCP 在有限样本下实现了理论证明的有效边际覆盖，确保真实标签以至少 1−α 的概率包含在预测集中。
• 在纽约市出租车数据集上，PCP 和 HD-PCP 生成的预测集显著比 CDSplit 和 CHR 更精确，能够捕捉不同社区和机场，而不会包含其间低密度区域。
• 在多目标回归中，HD-PCP 相较于 CDSplit 和 CHR 将预测集大小减少高达 50%，在 83% 的成对比较中显示 HD-PCP 更精确。
• 对于相关系数 ρ 逐渐增大的合成数据，PCP 和 HD-PCP 保持或减少集合大小，而其他基线方法基本不变，表明其对目标结构的适应能力。
• 在 ρ=9 时，PCP 的平均集合大小为 171.61（HD-PCP）和 205.63（PCP），而 CDSplit-MixD 为 415.86，CHR-NNet 为 689.22，显示出显著更优的精确度。
• 实证结果表明，PCP 和 HD-PCP 在多种数据类型（包括多模态、多目标和高维回归任务）中均表现出鲁棒性。