[论文解读] Who wants accurate models? Arguing for a different metrics to take classification models seriously

Federico Cabitza, Andrea Campagner|arXiv (Cornell University)|Oct 21, 2019

Artificial Intelligence in Healthcare and Education参考文献 42被引用 8

一句话总结

本文提出H-准确率（Ha），一种新型的医学分类模型性能度量指标，整合了临床优先事项、错误影响和病例复杂性，为传统准确率和AUC提供了更具信息量的替代方案。该指标推广了平衡准确率，与净收益相关联，并通过用户研究验证了其在真实临床决策场景中的描述能力。

ABSTRACT

With the increasing availability of AI-based decision support, there is an increasing need for their certification by both AI manufacturers and notified bodies, as well as the pragmatic (real-world) validation of these systems. Therefore, there is the need for meaningful and informative ways to assess the performance of AI systems in clinical practice. Common metrics (like accuracy scores and areas under the ROC curve) have known problems and they do not take into account important information about the preferences of clinicians and the needs of their specialist practice, like the likelihood and impact of errors and the complexity of cases. In this paper, we present a new accuracy measure, the H-accuracy (Ha), which we claim is more informative in the medical domain (and others of similar needs) for the elements it encompasses. We also provide proof that the H-accuracy is a generalization of the balanced accuracy and establish a relation between the H-accuracy and the Net Benefit. Finally, we illustrate an experimentation in two user studies to show the descriptive power of the Ha score and how complementary and differently informative measures can be derived from its formulation (a Python script to compute Ha is also made available).

研究动机与目标

• 解决传统度量指标（如准确率和AUC）在医学AI中无法反映临床优先事项和实际可用性的局限性。
• 开发一个单一、全面的性能度量指标，以捕捉分类模型在临床决策支持中的实际价值。
• 将临床医生的偏好（如错误影响、病例难度和优先级）形式化并整合到一个数学基础坚实的度量指标中。
• 提供一个能推广平衡准确率并有意义地关联到净收益的度量指标，从而实现更公平的模型比较。
• 通过涉及临床医生和放射科医生的用户研究，验证该度量指标的描述能力。

提出的方法

• 提出H-准确率（Ha）作为平衡准确率的推广，整合三个关键要素：可靠性（τ）、实用性和（d）和优先级（p）。
• 通过混淆矩阵推导出形式化方程，使用加权调和平均来考虑类别先验概率、错误成本和病例特定难度。
• 建立数学关系，表明当τ = 0.5、p = 0.5且d为常数时，Ha退化为平衡准确率。
• 通过展示模型排序与临床效用评估的一致性，证明Ha与净收益一致。
• 开展两项用户研究：一项针对医院工作人员，另一项针对放射科医生标注MRNet数据集，以评估Ha的可解释性和临床相关性。
• 发布一个用于计算Ha的Python实现，支持可复现性并可集成到模型评估工作流中。

实验结果

研究问题

• RQ1 如何通过单一性能度量指标，比传统指标（如准确率或AUC）更好地反映预测模型在真实临床场景中的实用性？
• RQ2 H-准确率在何种方式下整合了临床医生的偏好，如错误影响、病例复杂性和优先级？
• RQ3 H-准确率如何推广平衡准确率，并与既有的临床度量指标（如净收益）建立关联？
• RQ4 在涉及临床医生的用户研究中，H-准确率在多大程度上提供了比传统指标更具信息量和描述性的洞察？
• RQ5 H-准确率能否支持在医学决策支持系统中对机器学习模型进行更公平、更有意义的比较？

主要发现

• H-准确率推广了平衡准确率，当τ = 0.5、p = 0.5且d为常数时，其数学形式与平衡准确率等价，确保向后兼容性。
• 该度量指标成功整合了临床优先事项（如错误影响和病例难度），在类别不平衡或复杂临床场景中比传统准确率更具信息量。
• 临床医生和放射科医生的用户研究表明，H-准确率提供的洞察比传统指标更具描述性和临床相关性。
• H-准确率得分可推导出互补性度量——可信准确率、优先准确率和实用准确率，从而提供对模型行为的细致理解。
• 所提出的度量指标与净收益高度一致，表明其在临床决策和健康技术评估中的相关性。
• 提供一个公开可用的Python脚本用于计算H-准确率，支持可复现性并可集成到模型评估工作流中。