[论文解读] On the Importance of Application-Grounded Experimental Design for Evaluating Explainable ML Methods

Kasun Amarasinghe, Kit T. Rodolfa+7 more|arXiv (Cornell University)|Jun 24, 2022

Machine Learning and Data Classification被引用 5

一句话总结

本文对真实电商反欺诈场景中的事后可解释机器学习方法进行了严谨的应用导向评估，采用领域专家、真实数据和业务指标。研究发现，仅使用模型得分已足够，解释信息并无增量价值，挑战了以往因实验设计缺陷而得出的结论，并主张在实际部署中采用上下文感知的评估框架。

ABSTRACT

Most existing evaluations of explainable machine learning (ML) methods rely on simplifying assumptions or proxies that do not reflect real-world use cases; the handful of more robust evaluations on real-world settings have shortcomings in their design, resulting in limited conclusions of methods' real-world utility. In this work, we seek to bridge this gap by conducting a study that evaluates three popular explainable ML methods in a setting consistent with the intended deployment context. We build on a previous study on e-commerce fraud detection and make crucial modifications to its setup relaxing the simplifying assumptions made in the original work that departed from the deployment context. In doing so, we draw drastically different conclusions from the earlier work and find no evidence for the incremental utility of the tested methods in the task. Our results highlight how seemingly trivial experimental design choices can yield misleading conclusions, with lessons about the necessity of not only evaluating explainable ML methods using tasks, data, users, and metrics grounded in the intended deployment contexts but also developing methods tailored to specific applications. In addition, we believe the design of this experiment can serve as a template for future study designs evaluating explainable ML methods in other real-world contexts.

研究动机与目标

• 解决现有评估方法在应用真实、基于场景的实验设计方面存在的空白，以反映真实世界部署环境。
• 质疑依赖简化假设、代理任务或非专家用户的先前评估的有效性，这些因素可能导致对方法实用性的错误结论。
• 证明实验设计选择（如指标、用户专业度和任务保真度）会深刻影响对XAI方法有效性的结论。
• 倡导优先考虑业务目标而非混淆矩阵指标或自我报告指标的评估框架。
• 为未来在反欺诈检测之外的真实应用场景中进行XAI评估，提供可复现的实验模板。

提出的方法

• 重新设计先前的欺诈检测研究（Jesus et al., 2021），以消除与真实部署环境偏离的简化假设。
• 在实际决策任务中，使用真实电商交易数据和专业反欺诈分析师作为领域专家。
• 在受控的被试内实验设置中，实现三种事后解释方法（LIME、SHAP、LRP）与模型得分并行对比。
• 使用反映真实业务目标的运营指标（如检测率概率，PDR）衡量性能，而非混淆矩阵指标。
• 收集关于决策速度、决策率和准确率的行为数据，以评估解释在真实世界中的影响。
• 开展后续访谈，评估用户感知，并识别反馈回路和长期学习中的局限性。

实验结果

研究问题

• RQ1 与仅使用模型得分相比，事后解释方法在多大程度上提升了反欺诈分析师的决策准确率和运营表现？
• RQ2 实验设计选择（如用户专业度、任务保真度和指标选择）如何影响对可解释机器学习方法实用性的结论？
• RQ3 用户对解释的自我报告信心是否与真实决策任务中的实际表现提升相关？
• RQ4 在真实运营环境中，解释是否能缩短决策时间或提高检测率，还是反而引入效率低下？
• RQ5 在评估XAI方法时，使用非运营指标（如混淆矩阵）与业务相关指标（如PDR）有何影响？

主要发现

• 所测试的事后解释方法（LIME、SHAP、LRP）在反映业务实用性的关键运营指标——检测率概率（PDR）上，未带来任何增量改进。
• 与仅使用模型得分相比，分析师在看到解释后决策速度显著下降，表明对业务效率产生了负面影响。
• 尽管用户对解释的自我报告信心很高，但在决策率或客观指标上的表现并无可测量差异。
• 本研究的结论与先前工作（Jesus et al., 2021）形成鲜明对比，后者报告了类似方法的性能提升，但其早期实验设计存在关键缺陷。
• 实验设计的改进措施——如使用真实用户、真实数据和基于业务的指标——得出了与先前评估截然不同的结论。
• 研究结果表明，通用的事后解释方法在真实世界高风险场景（如欺诈检测）中可能无效，亟需开发面向具体应用场景的方法。