[论文解读] Split Conformal Prediction and Non-Exchangeable Data

Roberto I. Oliveira, Paulo Orenstein+2 more|arXiv (Cornell University)|Mar 29, 2022

Statistical Methods and Inference被引用 4

一句话总结

本文通过证明在仅引入轻微惩罚的情况下，可将交换性下的覆盖保证扩展至平稳 β-混合过程，从而将分割分位数预测推广至依赖数据。该方法使用标准分割分位数预测流程，但证明了边际覆盖和经验覆盖的理论边界，其阶与独立同分布（i.i.d.）结果一致，并在时间序列数据（包括金融和气候数据集）上进行了实证验证。

ABSTRACT

Split conformal prediction (CP) is arguably the most popular CP method for uncertainty quantification, enjoying both academic interest and widespread deployment. However, the original theoretical analysis of split CP makes the crucial assumption of data exchangeability, which hinders many real-world applications. In this paper, we present a novel theoretical framework based on concentration inequalities and decoupling properties of the data, proving that split CP remains valid for many non-exchangeable processes by adding a small coverage penalty. Through experiments with both real and synthetic data, we show that our theoretical results translate to good empirical performance under non-exchangeability, e.g., for time series and spatiotemporal data. Compared to recent conformal algorithms designed to counter specific exchangeability violations, we show that split CP is competitive in terms of coverage and interval size, with the benefit of being extremely simple and orders of magnitude faster than alternatives.

研究动机与目标

• 填补共形预测理论在依赖数据（尤其是非 i.i.d. 时间序列）方面的空白。
• 将原本仅在数据交换性下成立的分割分位数预测理论保证，推广至平稳 β-混合过程。
• 证明即使在时间依赖下，标准分割 CP 方法仍能保持强覆盖特性。
• 提供边际覆盖、经验覆盖和条件覆盖在依赖下的理论与实证验证。
• 将框架推广至非平稳过程及其他共形预测方法（如逐个剔除法和风险控制集合）。

提出的方法

• 通过将数据划分为训练集、校准集和测试集，对标准分割分位数预测框架进行适应性调整。
• 在训练集上训练符合性评分函数，使用残差或其他用户定义的函数。
• 基于校准集上符合性评分的 (1−α)-分位数，定义预测区间。
• 利用该分位数为测试点构建预测集：C_{1−α}(X_i) = {y : s_train(X_i, y) ≤ q_{1−α}}。
• 理论分析利用 β-混合系数，对覆盖偏差与 i.i.d. 情况的偏离进行有界控制。
• 证明边际覆盖和经验覆盖的边界，其尺度与混合速率和校准集大小相关，表明其收敛至 i.i.d. 保证。

实验结果

研究问题

• RQ1 在时间依赖（如 β-混合过程）下，分割分位数预测能否保持有效的边际覆盖？
• RQ2 在依赖数据中，覆盖误差如何随依赖程度和校准集大小变化？
• RQ3 相同的分割 CP 框架能否在给定协变量特定事件（如高波动性）下实现有效的条件覆盖？
• RQ4 依赖数据的理论覆盖边界在多大程度上与 i.i.d. 假设下的边界一致？
• RQ5 该框架能否超越平稳性假设，并推广至其他共形预测方法（如逐个剔除法或风险控制集合）？

主要发现

• 对于平稳 β-混合过程，分割分位数预测的边际覆盖误差为 O(1/n_cal)，其阶与 i.i.d. 情况一致。
• 测试集上的经验覆盖始终高于理论下界，并随校准集大小增加而收敛至名义水平。
• 在金融时间序列（如 EURUSD、布伦特原油、标普500）中，边际覆盖保持在接近 90% 的名义水平（例如，1000 个校准点时为 89.19%），且随校准集增大而改善。
• 在子类型（如上涨趋势、高波动性）下，条件覆盖得以保持，经验覆盖率接近 90%，即使在条件约束下也表现出稳健性。
• 理论保证适用于非平稳过程，并可扩展至其他共形方法（如逐个剔除法和风险控制预测集）。
• 实验表明，即使在高度依赖下，覆盖性能仍保持稳定且接近名义水平，验证了依赖引入的微小惩罚。