[论文解读] Neyman-Pearson Classification under High-Dimensional Settings

Anqi Zhao, Yang Feng+2 more|arXiv (Cornell University)|Aug 13, 2015

Statistical Methods and Inference参考文献 25被引用 13

一句话总结

本文提出了一种基于朴素贝叶斯模型的插件方法的高维数据Neyman-Pearson（NP）分类框架，确保分类器满足NP oracle不等式。该方法在控制第一类错误的同时最小化第二类错误，适用于癌症诊断等场景，在错误优先级方面表现更优，因为漏诊阳性病例的代价更高。

ABSTRACT

Most existing binary classification methods target on the optimization of the overall classification risk and may fail to serve some real-world applications such as cancer diagnosis, where users are more concerned with the risk of misclassifying one specific class than the other. Neyman-Pearson (NP) paradigm was introduced in this context as a novel statistical framework for handling asymmetric type I/II error priorities. It seeks classifiers with a minimal type II error and a constrained type I error under a user specified level. This article is the first attempt to construct classifiers with guaranteed theoretical performance under the NP paradigm in high-dimensional settings. Based on the fundamental Neyman-Pearson Lemma, we used a plug-in approach to construct NP-type classifiers for Naive Bayes models. The proposed classifiers satisfy the NP oracle inequalities, which are natural NP paradigm counterparts of the oracle inequalities in classical binary classification. Besides their desirable theoretical properties, we also demonstrated their numerical advantages in prioritized error control via both simulation and real data studies.

研究动机与目标

• 为解决二分类中的非对称错误优先级问题，特别是当将阳性类别（如疾病）误分类的代价高于将阴性类别误分类时。
• 在高维设置下（p >> n）构建基于Neyman-Pearson范式的理论基础坚实的分类方法。
• 构造满足NP oracle不等式的分类器，该不等式是经典oracle不等式在高维情形下的对应形式，确保第一类与第二类错误之间的最优权衡。
• 通过模拟和真实数据展示在控制第一类错误约束下，第二类错误减少的数值优势，尤其强调错误优先级的优化。

提出的方法

• 以Neyman-Pearson引理为基础，构建NP型分类器，在用户指定的第一类错误上限约束下最小化第二类错误。
• 采用插件方法估计朴素贝叶斯模型中的密度比函数，实现在高维设置下的实际应用。
• 使用基于Beta分布的校准方法，约束分类器的第一类错误，确保其以高概率保持在用户定义的阈值以内。
• 引入基于估计密度比的顺序统计量的数据驱动分类器阈值选择规则，并通过Chernoff型不等式提供理论保证。
• 推导出NP oracle不等式，在高维渐近下，将分类器的第二类错误相对于最优NP分类器进行有界控制。
• 结合特征筛选与稀疏性考虑，在特征数远超样本量时仍保持性能。

实验结果

研究问题

• RQ1 能否构建一种高维分类方法，显式控制第一类错误的同时最小化第二类错误，以满足如疾病诊断等应用的需求？
• RQ2 Neyman-Pearson引理如何适应高维设置，其中由于稀疏性和维度问题，传统似然比方法失效？
• RQ3 在高维设置下，NP范式中分类器的第一类与第二类错误可提供哪些理论保证？
• RQ4 朴素贝叶斯模型中密度比估计的插件方法能否在高维情形下产生满足NP oracle不等式的分类器？
• RQ5 所提出的NP分类器在错误优先级和经验错误率方面与标准分类器相比表现如何？

主要发现

• 所提出的分类器满足NP oracle不等式，确保在高维渐近下，其第二类错误相对于最优NP分类器有界。
• 分类器的第一类错误以高概率被证明不超过用户指定的水平α，该结果通过基于Beta分布的校准方法形式化。
• 数值研究显示，与标准分类器相比，该方法在严格控制第一类错误的同时显著降低了第二类错误，尤其在真实第一类错误受约束时表现更优。
• 基于顺序统计量的自适应阈值选择（k_min）在最小化第二类错误方面始终优于基于Chernoff的阈值（k_chern），在超过80%的测试配置中k_min < k_chern。
• 在神经母细胞瘤数据集中，该方法成功优先检测高风险患者（类别0），同时控制第一类错误，展示了其在真实医学分类中的实际应用价值。
• 由于朴素贝叶斯建模与特征筛选的结合，即使在特征数d超过样本量n时，该方法仍保持有效性。