[论文解读] Prevalence Threshold and bounds in the Accuracy of Binary Classification Systems

Jacques Balayla|arXiv (Cornell University)|Dec 25, 2021

Imbalanced Data Classification Techniques被引用 4

一句话总结

本文引入了流行率阈值（$\phi_e$）和一种新型的负流行率阈值（$\phi_n$），用于界定关键二分类准确率指标的边界，表明当流行率处于这些阈值之间时，$F_\beta$、$F_1$、Fowlkes-Mallows指数和Matthews相关系数（MCC）等准确率指标在数学上受到特定边界的约束。其核心贡献在于，达到$\phi_e$即可实现接近最大值的准确率，且计算成本显著降低，尤其在低流行率场景下效果显著。

ABSTRACT

The accuracy of binary classification systems is defined as the proportion of correct predictions - both positive and negative - made by a classification model or computational algorithm. A value between 0 (no accuracy) and 1 (perfect accuracy), the accuracy of a classification model is dependent on several factors, notably: the classification rule or algorithm used, the intrinsic characteristics of the tool used to do the classification, and the relative frequency of the elements being classified. Several accuracy metrics exist, each with its own advantages in different classification scenarios. In this manuscript, we show that relative to a perfect accuracy of 1, the positive prevalence threshold ($ϕ_e$), a critical point of maximum curvature in the precision-prevalence curve, bounds the $F{_β}$ score between 1 and 1.8/1.5/1.2 for $β$ values of 0.5/1.0/2.0, respectively; the $F_1$ score between 1 and 1.5, and the Fowlkes-Mallows Index (FM) between 1 and $\sqrt{2} \approx 1.414$. We likewise describe a novel $negative$ prevalence threshold ($ϕ_n$), the level of sharpest curvature for the negative predictive value-prevalence curve, such that $ϕ_n$ $>$ $ϕ_e$. The area between both these thresholds bounds the Matthews Correlation Coefficient (MCC) between $\sqrt{2}/2$ and $\sqrt{2}$. Conversely, the ratio of the maximum possible accuracy to that at any point below the prevalence threshold, $ϕ_e$, goes to infinity with decreasing prevalence. Though applications are numerous, the ideas herein discussed may be used in computational complexity theory, artificial intelligence, and medical screening, amongst others. Where computational time is a limiting resource, attaining the prevalence threshold in binary classification systems may be sufficient to yield levels of accuracy comparable to that under maximum prevalence.

研究动机与目标

• 确定一个关键的流行率阈值（$\\phi_e$），该阈值对应于精确率-流行率曲线最大曲率的拐点，低于该阈值时预测准确率会急剧下降。
• 提出一种新型的负流行率阈值（$\phi_n$），作为负预测值-流行率曲线最大曲率的拐点，且满足$\phi_n > \phi_e$。
• 在$\phi_e$与$\phi_n$之间的区间内，建立关键准确率指标——$F_\beta$、$F_1$、Fowlkes-Mallows指数和MCC的理论边界。
• 证明最大准确率与低于$\phi_e$时的准确率之比会发散至无穷大，凸显达到$\phi_e$对可靠性能的关键性。
• 提供一种计算高效的替代方案，证明达到$\phi_e$即可获得与最大流行率相当的准确率，同时显著降低资源消耗。

提出的方法

• 通过精确率-流行率曲线的拐点推导出流行率阈值$\phi_e = \frac{\sqrt{1-b}}{\sqrt{a} + \sqrt{1-b}}$，其中$a$为敏感度，$b$为特异度。
• 将负流行率阈值$\phi_n = \frac{\sqrt{b}}{\sqrt{1-a} + \sqrt{b}}$引入，该值由负预测值-流行率曲线的拐点推导得出。
• 利用贝叶斯定理将阳性预测值（PPV）表示为流行率的函数：$\rho(\phi) = \frac{a\phi}{a\phi + (1-b)(1-\phi)}$。
• 将$F_\beta$、$F_1$和MCC指标应用于精确率和NPV曲线，推导出其在$\phi_e$与$\phi_n$之间的理论边界。
• 分析最大准确率与低于$\phi_e$时准确率的比值，表明随着流行率降低，该比值趋于无穷大。
• 通过解析推导和基于混淆矩阵指标的符号运算，验证理论边界的正确性。

实验结果

研究问题

• RQ1 精确率-流行率曲线在何处表现出最大曲率？该点如何定义分类系统性能崩溃的阈值？
• RQ2 负预测值-流行率曲线的行为特征是什么？其拐点（$\phi_n$）具有何种意义？
• RQ3 当流行率位于$\phi_e$与$\phi_n$之间时，$F_\beta$、$F_1$、Fowlkes-Mallows指数和MCC的理论上下限分别是什么？
• RQ4 随着流行率降低，最大准确率与低于$\phi_e$时准确率的比值如何变化？
• RQ5 在低流行率场景下，能否将达到$\phi_e$作为实现最大准确率的计算高效替代方案？

主要发现

• 当流行率处于由$\phi_e$和$\phi_n$界定的区间内时，$F_\beta$得分的范围分别为：当$\beta = 0.5$、$1.0$和$2.0$时，分别介于1和1.8、1.5、1.2之间。
• 在相同条件下，$F_1$得分的范围介于1和1.5之间。
• Fowlkes-Mallows指数（FM）在$\phi_e$与$\phi_n$定义的区间内，其取值范围介于1和$\sqrt{2} \approx 1.414$之间。
• 当流行率位于$\phi_e$与$\phi_n$之间时，Matthews相关系数（MCC）的取值范围介于$\sqrt{2}/2 \approx 0.707$和$\sqrt{2} \approx 1.414$之间。
• 随着流行率降低，最大准确率与低于$\phi_e$时准确率的比值趋于无穷大，表明在该阈值以下性能会灾难性地下降。
• 达到$\phi_e$可实现与最大流行率时相当的准确率水平，为资源受限环境提供了计算高效的替代方案。