[论文解读] The Prediction Advantage: A Universally Meaningful Performance Measure for Classification and Regression

Ran El‐Yaniv, Yonatan Geifman+1 more|arXiv (Cornell University)|May 23, 2017

Imbalanced Data Classification Techniques参考文献 14被引用 3

一句话总结

本文提出了预测优势（PA），这是一种适用于分类与回归任务的通用性能度量指标，用于量化模型相较于贝叶斯边缘预测（BMP）的改进程度——BMP 是仅基于标签分布的最优预测。PA 定义为 1 减去模型风险与 BMP 风险之比，确保其在所有噪声水平和类别不平衡程度下始终保持意义，并在平方损失下推广了 R²，且在检测平凡解方面优于标准指标如准确率、F1 值和 Cohen’s kappa。

ABSTRACT

We introduce the Prediction Advantage (PA), a novel performance measure for prediction functions under any loss function (e.g., classification or regression). The PA is defined as the performance advantage relative to the Bayesian risk restricted to knowing only the distribution of the labels. We derive the PA for well-known loss functions, including 0/1 loss, cross-entropy loss, absolute loss, and squared loss. In the latter case, the PA is identical to the well-known R-squared measure, widely used in statistics. The use of the PA ensures meaningful quantification of prediction performance, which is not guaranteed, for example, when dealing with noisy imbalanced classification problems. We argue that among several known alternative performance measures, PA is the best (and only) quantity ensuring meaningfulness for all noise and imbalance levels.

研究动机与目标

• 为解决标准性能度量指标（如准确率、F1 值和 Cohen’s kappa）在类别不平衡或噪声数据集中可能无法检测到平凡模型这一关键缺陷。
• 开发一种适用于分类与回归任务中任意损失函数的单一、通用性能度量指标。
• 确保性能评估在各类别不平衡、噪声水平或类别数量变化下始终保持意义且可解释。
• 提供一种归一化、尺度不变的度量指标，以实现不同学习问题之间的公平比较。
• 通过提供一种与数据分布偏差无关的预测质量原则性度量，为选择性预测奠定基础。

提出的方法

• 将贝叶斯边缘预测（BMP）定义为仅基于边缘标签分布 P(Y) 的最优常数预测，其在该分布下的期望损失最小化。
• 将预测优势（PA）正式定义为 PA = 1 - R(f)/R(f₀)，其中 R(f) 为模型风险，R(f₀) 为 BMP 风险，确保 PA ∈ [0,1]，且 0 表示平凡性能。
• 推导出关键损失函数下 PA 的闭式表达式：0/1 损失、交叉熵损失、平方损失、绝对损失和代价敏感损失。
• 证明在平方损失下，PA 恰好等价于著名的 R² 统计量，从而在理论上建立了与经典回归评估的联系。
• 利用 Yao 的原理将 BMP 限制为确定性常数预测，简化风险计算并实现泛化。
• 通过在性能-不平衡平面中的实证比较，证明 PA 始终低于其他指标，并最早检测到平凡性。

实验结果

研究问题

• RQ1 能否设计一种单一性能度量指标，使其在所有分类与回归问题中始终保持意义，无论是否存在类别不平衡或噪声？
• RQ2 如何构建一种性能度量指标，以确保其能检测出仅预测多数类的平凡模型？
• RQ3 是否存在一种对非平方损失函数的 R² 推广，同时保持可解释性与性能比较的公平性？
• RQ4 PA 是否能实现跨具有不同类别数量或不平衡比率的数据集的模型公平比较？
• RQ5 在类别不平衡条件下，PA 与 F1 值、Cohen’s kappa 和平衡准确率等既有指标相比，在检测性能退化方面表现如何？

主要发现

• PA 始终小于或等于所有其他标准性能度量指标，且是首个在类别不平衡或噪声设置下检测到平凡模型的指标。
• 在平方损失函数下，PA 在数学上等价于 R² 统计量，验证了其与既有回归实践的一致性。
• 在考试示例中，Bob 的 PA 为 0.4，Alice 的 PA 为 0.46，表明即使原始得分相同，PA 也能因问题复杂度差异而区分性能。
• 在类别不平衡或噪声问题中，PA 严格单调且低于准确率、平衡准确率、F1 值和 Cohen’s kappa，证明其对平凡性的高度敏感性。
• PA 通过相对于 BMP 风险的性能归一化，实现了跨问题的有意义比较，而 BMP 风险捕捉了标签分布的固有难度。
• PA 具有普遍适用性，且在所有情况下均能检测到平凡解，即使其他指标（如 Cohen’s kappa 或 F1 值）表现不一致。