[论文解读] Stable Conformal Prediction Sets

Eugène Ndiaye|arXiv (Cornell University)|Dec 19, 2021

Statistical Methods and Inference被引用 4

一句话总结

本文提出了一种计算高效的回归方法，用于在不进行数据划分的情况下构建稳定的置信预测集，利用算法稳定性界来近似精确的置信预测集，并保证有限样本覆盖。该方法仅需一次模型拟合，在模型稳定且样本量较大时，可实现紧密且可靠的置信区间。

ABSTRACT

When one observes a sequence of variables $(x_1, y_1), \ldots, (x_n, y_n)$, Conformal Prediction (CP) is a methodology that allows to estimate a confidence set for $y_{n+1}$ given $x_{n+1}$ by merely assuming that the distribution of the data is exchangeable. CP sets have guaranteed coverage for any finite population size $n$. While appealing, the computation of such a set turns out to be infeasible in general, e.g. when the unknown variable $y_{n+1}$ is continuous. The bottleneck is that it is based on a procedure that readjusts a prediction model on data where we replace the unknown target by all its possible values in order to select the most probable one. This requires computing an infinite number of models, which often makes it intractable. In this paper, we combine CP techniques with classical algorithmic stability bounds to derive a prediction set computable with a single model fit. We demonstrate that our proposed confidence set does not lose any coverage guarantees while avoiding the need for data splitting as currently done in the literature. We provide some numerical experiments to illustrate the tightness of our estimation when the sample size is sufficiently large, on both synthetic and real datasets.

研究动机与目标

• 为解决由于需要对无限多个候选目标重新训练而导致的回归中精确置信预测的计算不可行性。
• 在不使用数据划分的前提下消除对数据划分的需求，同时保持有限样本覆盖的保证。
• 开发一种利用算法稳定性来限制模型变化的方法，从而实现预测集的高效计算。
• 为现有计算成本高昂的回归置信预测方法提供一种实用且可扩展的替代方案，尤其适用于连续结果。
• 证明基于稳定性的近似方法在样本量足够大时，可产生与精确置信预测集相当的紧密置信区间。

提出的方法

• 该方法用基于模型在输入扰动下偏差的稳定性界，替代了标准的数据划分方法。
• 它在完整数据集上仅进行一次模型拟合，并基于预测函数的稳定性推导出置信集。
• 核心思想是通过利普希茨连续性和算法稳定性，限制当目标标签被候选值替换时预测得分的变化。
• 预测集被定义为：对于预测得分相对于经验分布不过极端的候选值 z，经稳定性项调整后的集合。
• 该方法通过一种稳定性校正的 p 值函数构建置信集，避免了对每个候选 z 值重新训练。
• 其理论基础在于：基于学习算法的稳定性，推导出在标签扰动下预测得分差异的理论界。

实验结果

研究问题

• RQ1 我们能否在不进行数据划分的情况下，为回归构建置信预测集，同时保持有限样本覆盖？
• RQ2 如何利用算法稳定性高效地近似置信预测集？
• RQ3 在避免数据划分的情况下，置信预测的计算效率与准确性之间的权衡是什么？
• RQ4 置信区间的紧密程度如何依赖于模型稳定性和样本大小？
• RQ5 能否利用稳定性界推导出一种单次拟合方法，使其性能与精确置信预测相当？

主要发现

• 所提方法在不进行数据划分的情况下实现了精确的有限样本覆盖，保持了置信预测的理论保证。
• 该方法计算高效，在实验中比标准的分割置信预测方法快 20–30 倍。
• 在合成数据集和真实数据集上，稳定置信预测集（stabCP）在样本量增大时，与精确置信预测集（rootCP）高度接近。
• 当模型稳定且样本量较大时，该方法表现最佳，稳定性界以 O(1/n) 的速率衰减。
• 在小样本情况下，由于稳定性估计不可靠，方法精度下降，但覆盖性依然有效。
• 当稳定性界未知或估计不佳时，该方法不适用，尤其在非凸模型（如深度神经网络）中。