[论文解读] Selection by Prediction with Conformal p-values

Ying Jin, Emmanuel J. Candès|arXiv (Cornell University)|Oct 4, 2022

Statistical Methods in Clinical Trials被引用 8

一句话总结

本文提出 cfBH 方法，通过使用符合性 p 值与多重假设检验程序，在控制错误发现率（FDR）的同时，筛选出具有高未观测结果的候选者。通过从预测模型构建 p 值并应用基于阈值的筛选方法，该方法确保即使在较弱的交换性假设下，错误发现的期望比例也低于用户指定的水平，且在招聘与药物发现场景中得到了实证验证。

ABSTRACT

Decision making or scientific discovery pipelines such as job hiring and drug discovery often involve multiple stages: before any resource-intensive step, there is often an initial screening that uses predictions from a machine learning model to shortlist a few candidates from a large pool. We study screening procedures that aim to select candidates whose unobserved outcomes exceed user-specified values. We develop a method that wraps around any prediction model to produce a subset of candidates while controlling the proportion of falsely selected units. Building upon the conformal inference framework, our method first constructs p-values that quantify the statistical evidence for large outcomes; it then determines the shortlist by comparing the p-values to a threshold introduced in the multiple testing literature. In many cases, the procedure selects candidates whose predictions are above a data-dependent threshold. Our theoretical guarantee holds under mild exchangeability conditions on the samples, generalizing existing results on multiple conformal p-values. We demonstrate the empirical performance of our method via simulations, and apply it to job hiring and drug discovery datasets.

研究动机与目标

• 开发一种方法，以在控制错误发现率（FDR）的同时，筛选出未观测结果超过用户定义阈值的候选者。
• 在最小分布假设下确保 FDR 控制，具体而言是样本的交换性而非独立同分布（i.i.d.）抽样。
• 将符合性推断与多重假设检验程序相结合，实现在高风险筛选流程中的可靠、数据驱动的候选者选择。
• 在招聘与药物发现的真实世界数据集中，展示该方法的实证性能。

提出的方法

• 通过测量其结果超过用户指定阈值的统计证据，为每个测试样本构建符合性 p 值。
• 使用校准集计算非符合性评分，以量化给定结果相对于训练数据的极端程度。
• 对计算出的 p 值应用 Benjamini-Hochberg 程序（BH），以确定控制 FDR 在预设水平的拒绝阈值。
• 选择所有 p 值低于 BH 阈值的测试单元，从而在交换性假设下确保 FDR 控制。
• 使用两种非符合性评分：一种基于残差偏差（BH_res），另一种基于截断偏差（BH_clip），以评估方法的稳健性与统计功效。
• 将该方法应用于每样本具有不同阈值的数据集，例如药物发现中的分位数阈值，以应对结果异质性。

实验结果

研究问题

• RQ1 能否将预测模型与统计框架结合，以确保在高风险决策的候选者筛选中实现 FDR 控制？
• RQ2 如何将符合性推断调整以处理每测试样本的可变阈值，例如药物发现中的分位数截止值？
• RQ3 所提出方法在真实世界筛选任务（如招聘与虚拟药物筛选）中的实证性能如何？
• RQ4 非符合性评分的选择如何影响筛选过程的统计功效与稳定性？
• RQ5 在分布变化或偏离 i.i.d. 抽样时，该方法在多大程度上仍保持有效性？

主要发现

• cfBH 方法在所有测试配置下均将 FDR 控制在名义水平，实证发现错误发现比例（FDP）值接近目标显著性水平（q ∈ {0.1, 0.2, 0.5}）。
• 在所有 FDR 水平下，BH_clip 方法始终表现出更高的统计功效与更大的选择集合，尤其在较低 FDR 水平（q = 0.1）时更为显著。
• 对于 q = 0.1，BH_res 的 FDP 低于名义水平，表明因功效不足而呈现保守行为，而 BH_clip 保持 FDP 接近名义值。
• 随着总体分位数阈值（q_pop）的提高，两种方法的功效均下降，这符合预期，因为所需结果阈值更高。
• 该方法在不同数据分布与阈值类型下均表现出稳健性，包括药物发现中的目标特定分位数阈值。
• 该方法在 i.i.d. 假设之外仍具泛化能力，在较弱的交换性条件下保持 FDR 控制，从而扩大了其在真实世界筛选流程中的适用性。