[论文解读] Neyman-Pearson classification, convexity and stochastic constraints

Philippe Rigollet, Xin Tong|arXiv (Cornell University)|Feb 28, 2011

Fuzzy Systems and Optimization参考文献 9被引用 29

一句话总结

本文提出了一种凸优化框架，用于Neyman-Pearson二分类问题，该框架在以高概率将第一类错误控制在预设阈值以下的同时，最小化第二类错误。通过使用凸组合组合基础分类器，并求解具有经验约束的随机约束优化问题，该方法在非对称错误成本下实现了最优权衡，尤其适用于异常检测。

ABSTRACT

Motivated by problems of anomaly detection, this paper implements the Neyman-Pearson paradigm to deal with asymmetric errors in binary classification with a convex loss. Given a finite collection of classifiers, we combine them and obtain a new classifier that satisfies simultaneously the two following properties with high probability: (i) its probability of type I error is below a pre-specified level and (ii), it has probability of type II error close to the minimum possible. The proposed classifier is obtained by solving an optimization problem with an empirical objective and an empirical constraint. New techniques to handle such problems are developed and have consequences on chance constrained programming.

研究动机与目标

• 解决二分类中非对称错误成本的挑战，特别是在异常检测中，第一类错误（假阴性）更为严重。
• 开发一种学习过程，确保学习到的分类器的第一类错误被高概率地限制在预设水平以下。
• 在保持第一类错误约束的前提下最小化第二类错误（假阳性），从而在Neyman-Pearson范式下实现最优性能。
• 通过使用经验约束和高概率保证，解决几乎必然强制风险约束的固有困难。
• 为具有凸代理损失的机遇约束随机优化在二分类背景下的理论基础提供支持。

提出的方法

• 使用凸代理损失函数 φ 对分类问题进行公式化，以替代非凸的指示损失，从而实现高效优化。
• 将分类器构造为基分类器 h_j 的凸组合，形成集合 H^conv = {h_λ = ∑λ_j h_j : λ ∈ Λ}，其中 Λ 为概率单纯形。
• 定义 φ-风险 R_φ(h) = E[φ(−Y h(X))]，并在第一类错误的经验约束下最小化该经验风险。
• 求解一个随机约束优化问题，其中约束条件确保经验第一类错误在高概率下保持在阈值 α 以下。
• 使用集中不等式和尾部界（例如二项尾部近似）推导约束满足的高概率保证。
• 利用顺序统计量和贝塔积分，证明尾部概率 P_q(N ≥ nq) 的下界，从而支持对约束可行性理论分析。

实验结果

研究问题

• RQ1 能否构造出基分类器的凸组合，使其第一类错误以高概率被限制在预设水平以下？
• RQ2 在二分类设置中，如何在第一类错误的随机约束下最小化超额第二类错误？
• RQ3 在Neyman-Pearson框架下，对经验风险最小化在随机约束下的理论保证有哪些？
• RQ4 凸代理损失的性质如何与具有非对称错误成本的学习中的机遇约束优化相互作用？
• RQ5 在固定第一类错误约束下，可实现的最小第二类错误率是多少，以及如何通过凸优化逼近该值？

主要发现

• 通过求解具有经验约束的凸随机优化问题获得的分类器，可确保第一类错误以高概率低于预设水平 α。
• 在基分类器满足温和正则性条件的前提下，该方法实现了随样本量 n 增大而以 O(√(log M / n)) 速率衰减的有限样本超额第二类错误界。
• 对于任意 q > 1/n，概率 P_q(N ≥ nq) 的下界为 1/4，这支持了在高维设置下约束可行性的成立。
• 理论分析表明，约束满足概率随样本量 n 增大而提高，且在 M = o(e^n) 条件下对基分类器的选择具有鲁棒性。
• 该框架为机器学习中的机遇约束优化提供了通用处理方法，适用于异常检测和不平衡分类。
• 使用凸代理损失可实现高效计算，同时在Neyman-Pearson范式下保持统计一致性。