[论文解读] PPI++: Efficient Prediction-Powered Inference

Anastasios N. Angelopoulos, John C. Duchi+1 more|arXiv (Cornell University)|Nov 2, 2023

Machine Learning and Data Classification被引用 8

一句话总结

PPI++ 提供计算上轻量、以预测为驱动的推断，能自适应地利用黑箱预测来提升置信区间和点估计，并具备处理不同预测质量的功率调控机制。

ABSTRACT

We present PPI++: a computationally lightweight methodology for estimation and inference based on a small labeled dataset and a typically much larger dataset of machine-learning predictions. The methods automatically adapt to the quality of available predictions, yielding easy-to-compute confidence sets -- for parameters of any dimensionality -- that always improve on classical intervals using only the labeled data. PPI++ builds on prediction-powered inference (PPI), which targets the same problem setting, improving its computational and statistical efficiency. Real and synthetic experiments demonstrate the benefits of the proposed adaptations.

研究动机与目标

• 在标注数据稀缺且预测可能不完美时，激励并解决原始 Prediction Powered Inference (PPI) 的局限性。
• 开发基于快速凸优化的算法，计算对包括 GLMs 在内的 estimands 的预测驱动点估计和置信区间。
• 引入功率调谐，以根据预测器质量自适应平衡经典推断与预测驱动推断。
• 证明预测驱动估计量的渐近正态性并建立有效的置信区间。
• 证明 PPI++ 在高维或信息性预测因子存在时能够与传统方法竞争甚至优于它们。

提出的方法

• 定义预测驱动损失 LPP(θ) = Ln(θ) + L~Nf(θ) − Lnnf(θ) 及其 λ-增强形式 LPPλ(θ) = Ln(θ) + λ(L~Nf(θ) − Lnnf(θ)).
• 开发凸优化过程以获得预测驱动点估计 ŷPP，并推导其在 θ⋆ 周围的渐近正态性。
• 推导协方差公式 Σλ，结合预测相关的方差与残差方差，得到形式为 θ̂PPj ± z1−α/2 √(Σjj/n) 的置信区间。
• 证明在渐近情形下 PPI++ 区间与基于原始检验的方法的置信集合等价。
• 引入数据驱动的功率调谐参数 λ̂，以在经典与预测驱动推断之间插值，优化渐近方差。
• 将结果从 GLMs 扩展到具有相应算法与保证的一般凸 M-estimators。

实验结果

研究问题

• RQ1 如何使对于高维目标的预测驱动推断在计算上更高效？
• RQ2 是否能利用少量标注数据+大量带预测的未标注数据获得有效且紧凑的置信集合？
• RQ3 功率调谐参数 λ 如何影响统计功效，何时应该偏好经典推断或预测驱动推断？
• RQ4 GLMs 与一般的 M-estimators 是否存在渐近正态的预测驱动估计量，以及可处理的方差估计？
• RQ5 PPI++ 是否在渐近意义上等价于原始 PPI 方法，同时具备计算优势？

主要发现

• 预测驱动估计量 ŷPP 在 θ⋆ 附近呈渐近正态，且具备可计算的混合预测与数据变异性的协方差 Σλ。
• 对于 GLMs，LPPλ 在 λ ∈ [0,1] 时为凸性，可实现高效优化并获得有效的渐近置信区间。
• 通过 λ̂ 的功率调谐在至少与经典推断同等甚至通常显著优于前者，特别是当 f 信息丰富时。
• 算法实现（GLMs 的 Algorithm 1 与一般 M-estimators 的 Algorithm 2）提供了实用、可扩展的推断工具，且覆盖率有效。
• 理论显示 PPI++ 的置信集在渐近意义上与原始基于检验的方法等价，同时具备计算优势。
• 最优 λ* 能使渐近方差最小，当预测具有信息量时，引入预测会降低方差。