[论文解读] Neyman-Pearson (NP) classification algorithms and NP receiver operating characteristic (NP-ROC) curves

Xin Tong, Yang Feng+1 more|arXiv (Cornell University)|Aug 10, 2016

Imbalanced Data Classification Techniques被引用 4

一句话总结

本文提出了首个通用的Neyman-Pearson（NP）分类伞形算法，使逻辑回归、支持向量机（SVM）和随机森林等流行方法能够实现第一类错误控制。提出NP-ROC曲线作为新型评估工具，用于在保证总体第一类错误约束条件下比较分类器，包含理论样本量要求，并实现了R包nproc。

ABSTRACT

In many binary classification applications such as disease diagnosis and spam detection, practitioners often face great needs to control type I errors (e.g., chances of missing a malignant tumor) under a desired threshold. To address such needs, a natural framework is the Neyman-Pearson (NP) classification paradigm, which installs some upper bound $\alpha$ on population type I errors before minimizing population type II errors. However, common practices that directly control empirical type I errors under $\alpha$ do not satisfy the type I error control objective, as the resulting classifiers are likely to have population type I errors much larger than $\alpha$. As a result, the NP paradigm has not been probably implemented for many classification scenarios in practice. In this work, we develop the first and general umbrella algorithm that implements the NP paradigm for popular classification methods, including logistic regression, support vector machines, and random forests. For this algorithm, we also suggest the minimum sample size required for controlling the population type I error with high probability. Powered by this umbrella algorithm, we propose a novel evaluation metric for the NP classification methods: the NP receiver operating characteristic (NP-ROC) curve, a variant of the popular receiver operating characteristic (ROC) curve. Despite its conceptual simplicity and wide applicability, the ROC curve lacks information on how to choose a classifier or compare different classifiers whose population type I errors are under a desired threshold with high probability. In contrast, the NP-ROC curve will serve as a new effective tool to evaluate, compare and select binary classifiers aiming for population type I error control. We demonstrate the use and properties of the NP umbrella algorithm and NP-ROC, available in R package nproc, through simulation and real data case studies.

研究动机与目标

• 为解决Neyman-Pearson（NP）分类范式在实践中缺乏实现的问题，尽管存在经验界，但未能控制总体第一类错误。
• 开发一种通用的伞形算法，使逻辑回归、支持向量机和随机森林等广泛使用的分类方法能够实现NP分类。
• 建立确保以高概率控制总体第一类错误的最小样本量要求。
• 提出NP-ROC曲线作为新型评估指标，可在保证第一类错误阈值的前提下实现NP分类器的比较与选择。
• 提供一个实用、可实现的框架，并通过R包nproc实现NP分类在真实场景中的部署。

提出的方法

• 设计一种伞形算法，通过约束优化强制施加总体第一类错误约束，将任意标准分类器转化为NP分类器。
• 使用经验风险最小化，并对经验第一类错误施加约束，以确保总体第一类错误以高概率低于用户指定的阈值α。
• 基于集中不等式和假设类的复杂度，推导出实现高概率第一类错误控制所需的理论最小样本量。
• 提出NP-ROC曲线作为标准ROC曲线的变体，其中每个点对应一个总体第一类错误≤α的分类器。
• 在R包nproc中实现伞形算法和NP-ROC评估，支持真实数据应用中的端到端使用。
• 通过模拟和真实案例研究验证该方法，证明其在多样化分类任务中具有鲁棒性和实际应用价值。

实验结果

研究问题

• RQ1 能否开发一种通用的伞形算法，以在逻辑回归、SVM和随机森林等标准分类方法中实现总体第一类错误控制？
• RQ2 在NP范式下，为确保以高概率控制总体第一类错误，所需的最小样本量是多少？
• RQ3 NP-ROC曲线如何有效评估和比较在第一类错误受控条件下的NP分类器？
• RQ4 伞形算法在将总体第一类错误维持在期望阈值以下方面，与标准经验误差控制方法相比，其优越性体现在何处？
• RQ5 NP-ROC曲线在指导第一类错误受控条件下的分类器选择时，相较于标准ROC曲线有何改进？

主要发现

• 所提出的伞形算法能够以高概率将总体第一类错误控制在期望阈值α以下，即使经验第一类错误受到约束。
• 推导出实现可靠第一类错误控制所需的最小样本量，并表明其依赖于分类器的复杂度和置信水平。
• NP-ROC曲线有效可视化了在总体第一类错误受控条件下第一类与第二类错误之间的权衡，有助于实现明智的分类器选择。
• 模拟和真实数据研究显示，伞形算法在最小化第二类错误的同时保持了第一类错误控制，优于标准的经验控制方法。
• R包nproc提供了NP伞形算法和NP-ROC评估的实用、易访问的实现，促进了其在真实应用中的采纳。
• NP-ROC曲线表明，标准ROC曲线在NP分类中可能具有误导性，因其未考虑保证的第一类错误控制，而NP-ROC则能准确反映这一约束。