[论文解读] Technical Note: Towards ROC Curves in Cost Space

José Hernández‐Orallo, Peter Flach+1 more|arXiv (Cornell University)|Jul 29, 2011

Imbalanced Data Classification Techniques参考文献 16被引用 3

一句话总结

本文提出ROC代价曲线——一种新颖的可视化方法，通过选择使正类预测比例匹配操作条件（代价比例或偏斜）的阈值，将ROC曲线映射到代价空间。它建立了ROC代价曲线下方面积与AUC之间的线性关系，并表明对于等距得分的分类器，该面积等于Brier评分，从而首次建立了AUC与Brier评分之间的直接联系。

ABSTRACT

ROC curves and cost curves are two popular ways of visualising classifier performance, finding appropriate thresholds according to the operating condition, and deriving useful aggregated measures such as the area under the ROC curve (AUC) or the area under the optimal cost curve. In this note we present some new findings and connections between ROC space and cost space, by using the expected loss over a range of operating conditions. In particular, we show that ROC curves can be transferred to cost space by means of a very natural way of understanding how thresholds should be chosen, by selecting the threshold such that the proportion of positive predictions equals the operating condition (either in the form of cost proportion or skew). We call these new curves {ROC Cost Curves}, and we demonstrate that the expected loss as measured by the area under these curves is linearly related to AUC. This opens up a series of new possibilities and clarifies the notion of cost curve and its relation to ROC analysis. In addition, we show that for a classifier that assigns the scores in an evenly-spaced way, these curves are equal to the Brier Curves. As a result, this establishes the first clear connection between AUC and the Brier score.

研究动机与目标

• 澄清ROC空间与代价空间之间的关系，因为该关系在文献中长期存在不一致。
• 定义一类新的代价曲线——ROC代价曲线，使其与ROC曲线上的点直接对应。
• 建立ROC代价曲线下方面积与AUC之间的正式联系，证明其线性关系。
• 表明对于具有等距得分的分类器，ROC代价曲线下方面积等于Brier评分，从而连接两个关键性能指标。
• 通过基于率的阈值选择方法，为代价敏感学习中的阈值选择提供一个严谨的框架。

提出的方法

• 提出一种阈值选择方法，其中阈值被选择为使正类预测比例等于代价比例（或偏斜），从而确保在代价空间中x轴各段长度相等。
• 推导代价比例上的期望损失，并表明由此产生的曲线——ROC代价曲线——是代价空间中的分段线性函数。
• 通过从代价比例到偏斜的变量变换，推广公式化表达，并推导出AUC与ROC代价曲线下方面积之间的线性关系。
• 将该方法应用于具有等距得分的分类器，表明在此条件下ROC代价曲线与Brier曲线完全一致。
• 证明ROC代价曲线下方面积在数学上等价于AUC的线性变换，在特定情况下（如随机、完美、最差分类器）实现精确相等。
• 通过图形示例和数值计算验证理论结果，将ROC代价曲线与最优代价曲线及Brier曲线进行比较。

实验结果

研究问题

• RQ1 鉴于先前工作中缺乏直接对应关系，如何在代价空间中对ROC曲线进行有意义的表示？
• RQ2 何种阈值选择方法能够实现ROC曲线点与代价空间表示之间的一一对应？
• RQ3 ROC代价曲线下方面积与AUC之间是否存在正式关系？
• RQ4 Brier评分能否被解释为某条代价曲线下方面积？在何种条件下成立？
• RQ5 ROC代价曲线与现有表示形式（如最优代价曲线和Brier曲线）相比如何？

主要发现

• ROC代价曲线下方面积与AUC呈线性关系，其确切关系为 $ \text{Area} = 2\pi_1\pi_0(1 - \text{AUC}) + \frac{1}{3} - \pi_1\pi_0 $。
• 对于具有等距得分的分类器，ROC代价曲线与Brier曲线重合，且ROC代价曲线下方面积等于Brier评分。
• 这首次建立了AUC与Brier评分之间正式且直接的联系，二者均为广泛使用的性能指标。
• ROC代价曲线为最优代价曲线提供了有效且可解释的替代方案，其每个分段对应ROC曲线上的一个点，并反映相同性能信息。
• 在分类器完全校准且得分相等的情况下，与最优代价曲线相比，ROC代价曲线可能做出次优的阈值选择，凸显了基于率的方法中的权衡。
• 数值验证显示，ROC代价曲线与Brier曲线下的面积几乎完全相同（0.2006 vs. 0.2047），微小差异源于实现中对相等值的处理方式。