[论文解读] Optimal Binary Classification Beyond Accuracy

Shashank Kumar Singh, Justin Khim|arXiv (Cornell University)|Jul 5, 2021

Imbalanced Data Classification Techniques被引用 4

一句话总结

该论文将贝叶斯最优分类器推广至基于混淆矩阵计算的任意性能度量，而不仅限于准确率，证明在数据不平衡时随机分类器可优于确定性分类器。论文引入了统一类不平衡（Uniform Class Imbalance）作为不平衡的一种形式化子类型，并为k-NN分类提供了有限样本保证，表明随机阈值化可提升真实世界欺诈检测中的F1分数。

ABSTRACT

The vast majority of statistical theory on binary classification characterizes performance in terms of accuracy. However, accuracy is known in many cases to poorly reflect the practical consequences of classification error, most famously in imbalanced binary classification, where data are dominated by samples from one of two classes. The first part of this paper derives a novel generalization of the Bayes-optimal classifier from accuracy to any performance metric computed from the confusion matrix. Specifically, this result (a) demonstrates that stochastic classifiers sometimes outperform the best possible deterministic classifier and (b) removes an empirically unverifiable absolute continuity assumption that is poorly understood but pervades existing results. We then demonstrate how to use this generalized Bayes classifier to obtain regret bounds in terms of the error of estimating regression functions under uniform loss. Finally, we use these results to develop some of the first finite-sample statistical guarantees specific to imbalanced binary classification. Specifically, we demonstrate that optimal classification performance depends on properties of class imbalance, such as a novel notion called Uniform Class Imbalance, that have not previously been formalized. We further illustrate these contributions numerically in the case of $k$-nearest neighbor classification

研究动机与目标

• 解决在非准确率度量下，不平衡二分类问题缺乏有限样本理论保证的问题。
• 形式化类不平衡的子类型，特别是此前在理论与实践中均未被明确区分的统一类不平衡。
• 证明在优化一般性能度量时，随机分类器可优于确定性分类器。
• 在统一损失下，以回归函数估计误差的形式推导遗憾界。
• 使用真实信用卡欺诈数据集对理论发现进行实证验证。

提出的方法

• 推导出基于任意混淆矩阵计算性能度量的广义贝叶斯最优分类器，放松了不可验证的绝对连续性假设。
• 证明在一般度量下，仅通过随机分类器才能保证最优性能，而确定性分类器无法保证。
• 提出统一类不平衡的新概念，用于刻画不平衡严重程度对最优分类的影响。
• 建立以回归函数L∞-损失估计误差为形式的遗憾界。
• 提出一种O(n log n)的高效算法，用于在一般度量下对经验风险进行阈值优化。
• 在信用卡欺诈数据集上，通过F1分数作为度量，对k-NN采用最优确定性与随机阈值化方法进行实证评估。

实验结果

研究问题

• RQ1 贝叶斯最优分类器能否被推广至基于混淆矩阵的任意性能度量，而不仅限于准确率？
• RQ2 在何种条件下，随机分类器在最优分类中优于确定性分类器？
• RQ3 类不平衡的性质——特别是统一类不平衡——如何影响最优分类性能？
• RQ4 对于非参数分类器（如k-NN），在非准确率度量下，可推导出何种有限样本统计保证？
• RQ5 在真实不平衡数据集（如信用卡欺诈）中，随机阈值化在多大程度上提升了性能？

主要发现

• 在一般度量下，随机分类器可实现最优性能，而即使确定性分类器在准确率下最优，也可能无法达到最优。
• 广义贝叶斯分类器的推导无需依赖于在实践中不可验证的绝对连续性假设，从而提升了理论鲁棒性。
• 统一类不平衡被正式定义为一种显著影响k-NN性能的不平衡子类型，使其有别于其他不平衡模式。
• 以回归函数的L∞-损失估计误差为形式，建立了有限样本遗憾界，使不同算法的性能比较成为可能。
• 在真实世界信用卡欺诈检测中，随机阈值化在不同不平衡比率和k值下，F1分数始终优于确定性阈值化。
• 所提出的O(n log n)算法实现了对一般性能度量的高效阈值优化，使该方法可扩展至大规模数据集。