[论文解读] Theoretical Foundations of Conformal Prediction

Anastasios N. Angelopoulos, Rina Foygel Barber+1 more|ArXiv.org|Nov 18, 2024

Neural Networks and Applications被引用 7

一句话总结

本书基于交换性，提供了一个全面的、分布无关的共形预测理论，详细介绍分割和全共形方法、共形分数，以及在预测不确定性量化方面的扩展。它发展了基础保障，并将共形预测与置换检验和更广泛的推断任务联系起来。

ABSTRACT

This book is about conformal prediction and related inferential techniques that build on permutation tests and exchangeability. These techniques are useful in a diverse array of tasks, including hypothesis testing and providing uncertainty quantification guarantees for machine learning systems. Much of the current interest in conformal prediction is due to its ability to integrate into complex machine learning workflows, solving the problem of forming prediction sets without any assumptions on the form of the data generating distribution. Since contemporary machine learning algorithms have generally proven difficult to analyze directly, conformal prediction's main appeal is its ability to provide formal, finite-sample guarantees when paired with such methods. The goal of this book is to teach the reader about the fundamental technical arguments that arise when researching conformal prediction and related questions in distribution-free inference. Many of these proof strategies, especially the more recent ones, are scattered among research papers, making it difficult for researchers to understand where to look, which results are important, and how exactly the proofs work. We hope to bridge this gap by curating what we believe to be some of the most important results in the literature and presenting their proofs in a unified language, with illustrations, and with an eye towards pedagogy.

研究动机与目标

• 使用共形预测在不依赖分布假设的前提下量化预测不确定性。
• 在交换性或独立同分布数据下建立边际覆盖保证。
• 开发并比较分割和全共形预测框架及其效率。
• 引入并分析共形分数及其对区间效率与自适应性的影响。
• 探索包括跨共形、加权、在线、基于模型的视角以及校准等扩展。

提出的方法

• 给出分割共形预测算法并证明在 i.i.d. 数据下的边际覆盖。
• 引入并形式化共形分数函数（残差、缩放残差、分位回归、高概率分数），并展示它们如何生成预测集合。
• 证明共形分数的选择决定预测集合的形状与自适应性。
• 讨论全共形预测框架及其与置换检验和交换性的关系。
• 概述扩展与变体（跨共形、CV+、jackknife+、加权与局部化共形方法、在线共形预测）。
• 提供一个统一的、基于模型的视角，并给出渐近保障和对违反交换性的鲁棒性考量。

实验结果

研究问题

• RQ1 在交换性或 i.i.d. 数据下，哪些条件能保证共形预测的边际覆盖？
• RQ2 分割与全共形程序在统计有效性和计算需求方面的对比如何？
• RQ3 哪些共形分数函数在回归和分类中能得出信息丰富且有效的预测集？
• RQ4 共形预测在超越 i.i.d. 数据、扩展到加权、在线或基于模型的设置中，能达到何种程度？
• RQ5 为条件覆盖及其他更强的有效性概念所需的权衡与放宽条件有哪些？

主要发现

• 分割共形预测在 i.i.d. 数据下对任何预测模型和任何分数函数的选择均提供边际覆盖。
• 广义的共形分数族（残差、缩放残差、CQR、高概率分数）在保持有效预测集合的同时，允许对数据特征进行自适应。
• 全共形预测与基于交换性的解释与置换检验相关，能够在没有分布性假设的情况下提供有限样本覆盖保证。
• 跨共形、CV+、jackknife+等变体通过数据重用和类集成思路扩展覆盖保证并提高效率。
• 加权、局部化、在线共形方法扩展了对分布迁移、协变量迁移和流数据的适用性，在类似交换性的条件下维持有效性。
• 该框架与基于模型的分析结合，在违反交换性时提供渐近保障和鲁棒性考量。