[论文解读] Unachievable Region in Precision-Recall Space and Its Effect on Empirical Evaluation

Kendrick Boyd, Vı́tor Santos Costa+2 more|arXiv (Cornell University)|Jun 18, 2012

AI-based Problem Solving and Planning参考文献 9被引用 59

一句话总结

本文识别出在精确率-召回率（PR）空间中一个此前未被认识到的不可达区域，该区域仅由类别偏斜引起，证明其大小具有仅依赖于正类比例的闭式表达。作者表明，该区域定义了一条最小PR曲线，任何模型（甚至随机模型）都必须超过这条曲线，从根本上扭曲了在类别偏斜数据集中的AUCPR评估和F1分数解释。

ABSTRACT

Precision-recall (PR) curves and the areas under them are widely used to summarize machine learning results, especially for data sets exhibiting class skew. They are often used analogously to ROC curves and the area under ROC curves. It is known that PR curves vary as class skew changes. What was not recognized before this paper is that there is a region of PR space that is completely unachievable, and the size of this region depends only on the skew. This paper precisely characterizes the size of that region and discusses its implications for empirical evaluation methodology in machine learning.

研究动机与目标

• 识别并正式表征在给定固定类别偏斜下，任何混淆矩阵都无法实现的精确率-召回率空间中的区域。
• 证明该不可达区域导致一条所有模型都必须超越的最小PR曲线，无论其性能如何。
• 分析该区域对在类别偏斜数据集中经验评估指标（如AUCPR和F1分数）的扭曲影响。
• 研究该区域对算法评估的影响，特别是在交叉验证、下采样和AUCPR优化训练中的影响。
• 提出对AUCPR和F1的修改方法，以减轻不可达区域带来的混淆效应。

提出的方法

• 以真正例（tp）、假正例（fp）、假反例（fn）和真反例（tn）定义精确率（p）和召回率（r），其中类别偏斜π = pos/n。
• 证明PR空间中并非所有(r, p)对都是可实现的；具体而言，当p < rπ / (1 - π + rπ)时，点(r, p)为不可达。
• 推导出不可达区域边界的最小PR曲线，表达式为p = rπ / (1 - π + rπ)，代表对任意召回率r的最低可能精确率。
• 证明该最小PR曲线下方面积仅为π的函数，具有闭式表达：A_min = π(1 - π) / (1 - π + π) = π(1 - π)。
• 分析该区域对AUCPR评估的影响，特别是在对具有不同偏斜的多个任务或折数进行聚合时的影响。
• 提出修正后的AUCPR和F1分数变体以考虑最小曲线，但表明在数学上无法构造出同时满足所有理想属性的完全一致的修正F1分数。

实验结果

研究问题

• RQ1 对于给定的类别偏斜，PR空间中有多大比例是不可达的？该区域能否被精确表征？
• RQ2 不可达区域的存在如何影响在类别偏斜数据集中对AUCPR的解释？
• RQ3 该区域对F1分数评估有何影响，特别是在性能点位于或低于最小PR曲线时？
• RQ4 由于最小PR曲线的存在，下采样或具有不同偏斜的交叉验证如何放大或扭曲AUCPR比较？
• RQ5 能否构造出一种修正后的F1分数，使其正确反映不可达区域，同时保持单调性和可解释性？

主要发现

• 对于给定类别偏斜π，PR空间中存在一个不可达区域，其下边界由曲线p = rπ / (1 - π + rπ)界定，该曲线定义了每个召回率r下可实现的最低精确率。
• 该最小PR曲线下方面积恰好为π(1 - π)，其为仅依赖于正类比例的闭式表达。
• 即使随机模型或性能较差的分类器，其AUCPR也保证至少等于π(1 - π)，若其他任务偏斜较小，则该值可能在多任务评估中主导总AUCPR。
• 在对具有不同偏斜的多个任务平均AUCPR时，非偏斜任务（π = 0.5）的最小曲线面积可能超过所有其他偏斜任务AUCPR的总和。
• F1分数可能具有误导性，因为具有相同F1值的点可能位于不同区域——有些不可达，有些接近最小曲线，有些位于可实现的高性能区域——从而导致误解。
• 由于边界条件存在逻辑矛盾，无法构造出同时满足所有理想属性（在最小曲线上取值为零、在精确率和召回率上单调）的修正F1分数。