[论文解读] Never mind the metrics -- what about the uncertainty? Visualising confusion matrix metric distributions

David Lovell, Dimity Miller+2 more|arXiv (Cornell University)|Jun 5, 2022

Data Visualization and Analytics被引用 5

一句话总结

本文提出使用贝叶斯后预测分布来可视化基于混淆矩阵的性能度量中的不确定性，揭示了小样本量带来的不确定性常常掩盖不同分类器之间的差异。通过使用贝-二项分布对真正例率和假正例率进行建模，并在ROC空间中可视化度量的等高线，本文表明，尤其在类别不平衡或数据量不足的情况下，性能声明应考虑到这种固有的不确定性。

ABSTRACT

There are strong incentives to build models that demonstrate outstanding predictive performance on various datasets and benchmarks. We believe these incentives risk a narrow focus on models and on the performance metrics used to evaluate and compare them -- resulting in a growing body of literature to evaluate and compare metrics. This paper strives for a more balanced perspective on classifier performance metrics by highlighting their distributions under different models of uncertainty and showing how this uncertainty can easily eclipse differences in the empirical performance of classifiers. We begin by emphasising the fundamentally discrete nature of empirical confusion matrices and show how binary matrices can be meaningfully represented in a three dimensional compositional lattice, whose cross-sections form the basis of the space of receiver operating characteristic (ROC) curves. We develop equations, animations and interactive visualisations of the contours of performance metrics within (and beyond) this ROC space, showing how some are affected by class imbalance. We provide interactive visualisations that show the discrete posterior predictive probability mass functions of true and false positive rates in ROC space, and how these relate to uncertainty in performance metrics such as Balanced Accuracy (BA) and the Matthews Correlation Coefficient (MCC). Our hope is that these insights and visualisations will raise greater awareness of the substantial uncertainty in performance metric estimates that can arise when classifiers are evaluated on empirical datasets and benchmarks, and that classification model performance claims should be tempered by this understanding.

研究动机与目标

• 为应对机器学习中对单点性能度量日益增长的依赖，这些度量常常忽略了估计不确定性。
• 强调在正例或负例数量较少时，混淆矩阵条目中的不确定性可能掩盖不同分类器之间的差异。
• 提供一种可视化和概率框架，以理解性能度量（如平衡准确率和Matthews相关系数）在不确定性下的变化。
• 倡导将关注点从性能对比转向数据质量与代表性，尤其是在类别不平衡或数据量不足的情况下。
• 开发交互式工具，可视化基于二项分布和贝-二项分布模型的性能度量的离散后预测分布。

提出的方法

• 将二元混淆矩阵表示为三维组成格点中的点，其中每个点对应于真正例、假正例、真负例和假负例计数的唯一组合。
• 以真正例率和真负例率表示性能度量（如BA、MCC）的等高线，形成ROC空间的基础。
• 使用二项分布和贝-二项分布模型，计算在观察数据和先验信念下，混淆矩阵条目的精确后预测概率质量函数（PMF）。
• 将混淆矩阵的后预测PMF转换为性能度量的后预测PMF，从而实现不确定性感知的比较。
• 创建交互式可视化和动画，以探索不同样本大小和类别不平衡下度量值及其不确定性的变化。
• 通过一对多分解方法将该框架扩展至多分类问题，并考虑未来推广至狄利克雷-多项式模型。

实验结果

研究问题

• RQ1 混淆矩阵条目中的不确定性在多大程度上影响了平衡准确率和Matthews相关系数等常用性能度量的可靠性？
• RQ2 在小样本量（尤其是罕见类别）下，经验分类器性能的差异在多大程度上可能在统计上毫无意义？
• RQ3 ROC空间中性能度量等高线的几何特性如何与底层离散混淆矩阵分布相关联？
• RQ4 类别不平衡在多大程度上扭曲了性能度量的解释？不确定性建模在澄清这一点方面有何作用？
• RQ5 性能度量的后预测分布可视化能否帮助研究人员和从业者更好地评估分类器性能声明的稳健性？

主要发现

• 在小样本数据集上，尤其是类别分布不平衡时，平衡准确率和Matthews相关系数等性能度量表现出显著的不确定性。
• 通过贝-二项分布建模的混淆矩阵条目后预测分布揭示，即使在相同的经验混淆矩阵下，观察到的度量值也可能存在广泛差异。
• 真正例率和假正例率的离散后预测PMF表明，当正例或负例数量较少时，度量估计本身具有固有的不确定性。
• 可视化结果表明，ROC空间中度量等高线的几何形状反映了不同度量对类别不平衡敏感性的差异。
• 性能估计的不确定性常常超过不同分类器之间的差异，表明基于单点度量的性能排名可能具有误导性。
• 作者得出结论：需要更多数据——特别是稀有类别具有代表性的数据——以减少不确定性，且当前的性能声明应辅以不确定性感知的解释。