[论文解读] Testing for Outliers with Conformal p-values

Stephen Bates, Emmanuel J. Candès+3 more|RePEc: Research Papers in Economics|Apr 16, 2021

Advanced Statistical Process Monitoring被引用 6

一句话总结

该论文提出了一种用于非参数异常检测的合谋推断框架，生成具有有限样本有效性与正相关性的p值，从而在边际有效性下实现精确的错误发现率（FDR）控制。此外，该研究提出了一种新方法，生成条件有效且相互独立的p值，显著增强了在异常检测场景下多重检验的I类错误控制能力。

ABSTRACT

This paper studies the construction of p-values for nonparametric outlier detection, taking a multiple-testing perspective. The goal is to test whether new independent samples belong to the same distribution as a reference data set or are outliers. We propose a solution based on conformal inference, a broadly applicable framework which yields p-values that are marginally valid but mutually dependent for different test points. We prove these p-values are positively dependent and enable exact false discovery rate control, although in a relatively weak marginal sense. We then introduce a new method to compute p-values that are both valid conditionally on the training data and independent of each other for different test points; this paves the way to stronger type-I error guarantees. Our results depart from classical conformal inference as we leverage concentration inequalities rather than combinatorial arguments to establish our finite-sample guarantees. Furthermore, our techniques also yield a uniform confidence bound for the false positive rate of any outlier detection algorithm, as a function of the threshold applied to its raw statistics. Finally, the relevance of our results is demonstrated by numerical experiments on real and simulated data.

研究动机与目标

• 为解决用于异常检测的一类分类模型中缺乏统计保证的问题。
• 开发在有限样本设置下有效且适用于多重检验程序的p值。
• 在测试多个新数据点时，确保异常检测中的错误发现率（FDR）控制。
• 构建在给定训练数据条件下条件有效且在测试点之间相互独立的p值，以改善错误率控制。
• 为任何异常检测算法的假阳性率提供关于其阈值的统一置信界。

提出的方法

• 利用合谋推断将任意一类分类器转化为异常检测的p值生成器。
• 使用浓度不等式而非组合论证来推导有限样本保证，与经典合谋推断方法不同。
• 提出一种新程序，用于计算在测试点之间条件有效且相互独立的p值。
• 应用Benjamini-Hochberg程序，利用所提出的p值控制错误发现率（FDR）。
• 基于其原始得分阈值，推导出任何异常检测算法假阳性率的统一置信界。
• 采用两阶段分割方法：在一半数据上训练分类器，在另一半数据上校准p值以确保有效性。

Figure 1: Visualization of the joint distribution of the conformal p-values. The distribution of $\hat{s}(x)$ is the same for calibration and inlier test points. The conformal p-value for each test point is the number of calibration points to its left, divided by the total number of calibration poin

实验结果

研究问题

• RQ1 能否使用合谋p值在具有有限样本保证的前提下控制异常检测中的错误发现率（FDR）？
• RQ2 标准合谋p值在多个测试点之间的依赖结构是什么？其对FDR控制有何影响？
• RQ3 我们能否构建既条件有效又相互独立的p值，以增强I类错误控制？
• RQ4 如何对任何异常检测算法的假阳性率在阈值上实现统一的界？
• RQ5 与现有合谋和非合谋异常检测技术相比，所提方法在实际中的表现如何？

主要发现

• 所提方法在p值边际有效的情况下实现了精确的FDR控制，即使p值存在正相关性。
• 新方法生成的p值具有条件有效性且在测试点之间相互独立，相比标准合谋p值，提供了更强的I类错误控制能力。
• 在真实和模拟数据上的数值实验表明，该方法在保持高统计功效的同时，能将FDR控制在名义水平。
• 对假阳性率的统一置信界具有紧致性，且在实践中对阈值设定具有实际指导意义。
• 在CIFAR-10、MNIST和KDDCup99等基准数据集上，该方法在FDR控制和检测功效方面优于基线合谋方法。
• 该方法在多种模型（如SVM、孤立森林、LOF）和数据类型（包括高维和非i.i.d.设置）下均表现出鲁棒性。

Figure 2: Distribution of the false positive rate obtained by thresholding marginal conformal p-values at levels $\alpha=0.01$ and $\alpha=0.1$ , as a function of the number of calibration points.