[论文解读] Universal distribution of the empirical coverage in split conformal prediction

Paulo C. Marques F.|arXiv (Cornell University)|Mar 5, 2023

Statistical Methods and Inference被引用 4

一句话总结

本文在可交换性假设下，建立了分拆预测中经验覆盖的精确有限样本分布与渐近分布。结果表明，对于任意名义误覆盖水平 α 和校准样本大小 n，覆盖分布始终服从 Beta(⌈(1−α)(n+1)⌉, ⌊α(n+1)⌋) 分布，无论在有限时 horizon 还是在未来预测数量趋于无穷的几乎必然极限下均成立。

ABSTRACT

When split conformal prediction operates in batch mode with exchangeable data, we determine the exact distribution of the empirical coverage of prediction sets produced for a finite batch of future observables, as well as the exact distribution of its almost sure limit when the batch size goes to infinity. Both distributions are universal, being determined solely by the nominal miscoverage level and the calibration sample size, thereby establishing a criterion for choosing the minimum required calibration sample size in applications.

研究动机与目标

• 在可交换数据下，刻画分拆预测中经验覆盖的精确有限样本分布。
• 推导当未来预测数量趋于无穷时，经验覆盖的几乎必然极限分布。
• 证明这两种分布均为通用分布，仅依赖于名义误覆盖水平 α 和校准样本大小 n。
• 为理解实际分拆预测应用中覆盖的变异性提供理论基础。
• 通过量化有限与渐近条件下覆盖的分布行为，支持实际校准样本大小的选择。

提出的方法

• 利用数据可交换性，建立符合性得分与覆盖指标的可交换性。
• 应用 de Finetti 表示定理，将覆盖的几乎必然极限建模为一个 Beta 分布的随机变量。
• 使用 Pólya 等待模型作为概率类比，推导经验覆盖的精确有限时 horizon 分布。
• 通过 de Finetti 混合测度上的组合积分，推导未来覆盖 $ C^{(n,\beta)}_m $ 的精确分布，作为 $ m $、$ n $ 和 $ \alpha $ 的函数。
• 将混合测度 $ \mu_\Theta $ 表征为参数 $ b = \lceil(1-\alpha)(n+1)\rceil $、$ g = \lfloor\alpha(n+1)\rfloor $ 的 Beta 分布，从而得出精确覆盖律。
• 应用 Scheffé 定理，建立覆盖偏离名义水平的渐近正态性。

Figure 1: Simulation of the future coverage discussed in Example 5 .

实验结果

研究问题

• RQ1 在可交换性假设下，分拆预测中经验覆盖的精确有限样本分布是什么？
• RQ2 当未来预测数量增加时，经验覆盖的几乎必然极限分布是什么？
• RQ3 经验覆盖的分布如何普遍地依赖于名义误覆盖水平和校准样本大小？
• RQ4 在此框架中，能否利用 de Finetti 定理与 Pólya 等待模型来刻画覆盖分布？
• RQ5 需要多大的样本量才能确保覆盖以高概率集中在名义水平附近？

主要发现

• 对于有限时 horizon $ m $，经验覆盖 $ C^{(n,\alpha)}_m $ 的精确分布仅依赖于 $ \alpha $ 和 $ n $，通过可交换性与组合积分推导得出。
• 经验覆盖的几乎必然极限 $ C^{(n,\alpha)}_\infty $ 服从 $ \mathrm{Beta}(\lceil(1-\alpha)(n+1)\rceil, \lfloor\alpha(n+1)\rfloor) $ 分布，这是在可交换性下的通用结果。
• 极限覆盖的期望为 $ \mathbb{E}[C^{(n,\alpha)}_\infty] = 1 - \alpha + O(1/n) $，表明其渐近一致于名义水平。
• 极限覆盖的方差为 $ \mathrm{Var}[C^{(n,\alpha)}_\infty] = \frac{\alpha(1-\alpha)}{n} + O(1/n^2) $，表明其收敛速率为 $ 1/\sqrt{n} $。
• 标准化偏差 $ \sqrt{n}(C^{(n,\alpha)}_\infty - (1-\alpha)) $ 在分布上收敛于均值为 0、方差为 $ \alpha(1-\alpha) $ 的正态分布。
• 对于实际校准，当 $ n = 860 $ 时，可确保极限覆盖以至少 95% 的概率落在 $ \pm 0.02 $ 范围内，对应 $ 1 - \alpha = 0.9 $。

Figure 2: A connection between split conformal prediction and Pólya’s urn scheme.