[论文解读] Selection and Aggregation of Conformal Prediction Sets

Yachong Yang, Arun Kumar Kuchibhotla|arXiv (Cornell University)|Apr 28, 2021

Gaussian Processes and Bayesian Inference参考文献 40被引用 9

一句话总结

本文提出了两种新颖的合取预测选择方法——效率优先（EFCP）与有效性优先（VFCP），以在保持有限样本有效性的同时最小化预测集宽度。EFCP 在近似覆盖下实现接近最优的宽度；VFCP 确保有限样本有效性，并实现接近最小的宽度，其性能通过 oracle 不等式和实证测试得到验证，结果显示其预测区间比基线方法窄 10%–30%。

ABSTRACT

Conformal prediction is a generic methodology for finite-sample valid distribution-free prediction. This technique has garnered a lot of attention in the literature partly because it can be applied with any machine learning algorithm that provides point predictions to yield valid prediction regions. Of course, the efficiency (width/volume) of the resulting prediction region depends on the performance of the machine learning algorithm. In the context of point prediction, several techniques (such as cross-validation) exist to select one of many machine learning algorithms for better performance. In contrast, such selection techniques are seldom discussed in the context of set prediction (or prediction regions). In this paper, we consider the problem of obtaining the smallest conformal prediction region given a family of machine learning algorithms. We provide two general-purpose selection algorithms and consider coverage as well as width properties of the final prediction region. The first selection method yields the smallest width prediction region among the family of conformal prediction regions for all sample sizes but only has an approximate coverage guarantee. The second selection method has a finite sample coverage guarantee but only attains close to the smallest width. The approximate optimal width property of the second method is quantified via an oracle inequality. As an illustration, we consider the use of aggregation of non-parametric regression estimators in the split conformal method with the absolute residual conformal score.

研究动机与目标

• 为解决在多个机器学习算法可用时，构建有限样本有效且高效的合取预测集的挑战。
• 在不牺牲覆盖有效性的情况下，最小化预测区域的宽度，尤其是在小样本或中等样本规模下。
• 开发通用的选择算法，其效率优于标准合取方法，同时保持分布无关的有效性。
• 通过 oracle 不等式，为所提方法在各种设置下的宽度性能提供理论保证。
• 通过将宽度度量推广至任意预测集属性（例如多标签设置下的假阳性率），拓展其在高维和复杂数据中的适用性。

提出的方法

• 提出效率优先合取预测（EFCP），从一组分割合取区域中选择宽度最小的预测集，采用数据驱动的选择规则。
• 开发有效性优先合取预测（VFCP），选择能保证有限样本覆盖的区域，并在近似最优准则下最小化宽度。
• 采用分割合取方法作为基础构建技术，使用子集进行训练，并在保留集上进行校准以计算预测区间。
• 利用经验风险最小化和残差分位数计算合取得分，确保在独立同分布假设下的分布无关有效性。
• 应用 oracle 不等式，量化 VFCP 宽度相对于理论最小值的近似最优性，尤其在渐近情形下。
• 将宽度度量推广至任意预测集属性（例如多标签设置下的假阳性率），从而实现更广泛的应用。

实验结果

研究问题

• RQ1 我们能否构建一个在多个学习算法族中均具有有限样本有效性且宽度尽可能小的合取预测集？
• RQ2 在合取预测中，如何在有限样本覆盖有效性与预测集效率之间实现平衡？
• RQ3 当使用多个算法时，所选预测集的宽度性能可提供哪些理论保证？
• RQ4 与现有的合取方法（如分割合取或交叉合取）相比，所提选择方法在宽度和覆盖性能上的表现如何？
• RQ5 该选择框架能否扩展至非数值或复杂预测空间（如图像或函数）？

主要发现

• 在各种维度下，EFCP 的预测集平均比 VFCP 窄 20%，且宽度的标准误差平均减少 30%。
• 在高维设置中（d ≥ N），线性方法与朴素方法完全失效，产生零长度区间和零覆盖，而 EFCP 仍保持近乎完美的覆盖。
• EFCP 提供近似有限样本有效性，并在所有样本规模下实现接近最优的宽度，模拟中未观察到覆盖失效。
• VFCP 确保有限样本覆盖有效性，并实现宽度在最优宽度的常数倍以内，该结果通过 oracle 不等式量化。
• 对于具有不同惩罚参数的岭回归，EFCP 与 VFCP 均实现渐近最优性，与真实数据分布下的最小可能预测区域一致。
• 在多标签分类中，将优化准则从宽度替换为假阳性率，可获得性能提升，证明了该方法的可扩展性。