[论文解读] Why Does My Model Fail? Contrastive Local Explanations for Retail Forecasting

Ana Lučić, Hinda Haned+1 more|UvA-DARE (University of Amsterdam)|Jul 17, 2019

Explainable Artificial Intelligence (XAI)参考文献 22被引用 7

一句话总结

本文提出 MC-BRP，一种用于零售预测模型的对比局部解释方法，可识别产生合理预测所需的特征边界和趋势，显著提升用户对大型预测误差的理解。在包含 75 名参与者的用户研究中，MC-BRP 解释使用户在回答关于模型错误的客观问题时达到 81.1% 的准确率，证明其在复杂‘黑箱’模型中具有强大的可解释性与可操作性。

ABSTRACT

In various business settings, there is an interest in using more complex machine learning techniques for sales forecasting. It is difficult to convince analysts, along with their superiors, to adopt these techniques since the models are considered to be "black boxes," even if they perform better than current models in use. We examine the impact of contrastive explanations about large errors on users' attitudes towards a "black-box'" model. We propose an algorithm, Monte Carlo Bounds for Reasonable Predictions. Given a large error, MC-BRP determines (1) feature values that would result in a reasonable prediction, and (2) general trends between each feature and the target, both based on Monte Carlo simulations. We evaluate on a real dataset with real users by conducting a user study with 75 participants to determine if explanations generated by MC-BRP help users understand why a prediction results in a large error, and if this promotes trust in an automatically-learned model. Our study shows that users are able to answer objective questions about the model's predictions with overall 81.1% accuracy when provided with these contrastive explanations. We show that users who saw MC-BRP explanations understand why the model makes large errors in predictions significantly more than users in the control group. We also conduct an in-depth analysis on the difference in attitudes between Practitioners and Researchers, and confirm that our results hold when conditioning on the users' background.

研究动机与目标

• 为解决在零售预测中使用的复杂‘黑箱’机器学习模型中大型预测误差的解释挑战。
• 通过提供对比解释，展示何种特征值会导致合理预测，从而提升用户对模型失败的理解与信任。
• 评估此类解释是否增强用户解释和应对模型错误的能力，特别是在现实商业场景中。
• 研究从业者与研究人员在接触模型错误解释后感知差异。
• 开发一种对不同机器学习专业水平用户均具备可解释性与可操作性的方法。

提出的方法

• MC-BRP 使用蒙特卡洛模拟生成输入实例的扰动版本，使这些版本产生合理预测，以应对给定的大误差。
• 针对每个重要特征，计算其扰动值的边界（均值 ± 标准差），这些边界能产生合理预测，从而提供可操作的阈值。
• 计算每个特征与目标变量之间的皮尔逊相关系数，揭示影响预测的一般趋势。
• 该方法专注于事后解释误差，而非提前预测误差，使用真实值引导解释生成。
• 解释以对比对的形式呈现：‘哪里出了问题’与‘什么才是合理的’。
• 该方法设计为模型无关，并可通过定义误差距离或将所有误差视为大误差，扩展至分类任务。

实验结果

研究问题

• RQ1 RQ1：MC-BRP 解释在帮助用户基于所提供的特征边界与趋势模拟模型输出方面，其可解释性如何？
• RQ2 RQ2：MC-BRP 解释在帮助用户识别可导致合理预测的特征值变化方面，其可操作性如何？
• RQ3 RQ3：与无解释相比，MC-BRP 解释是否提升了用户对模型为何产生大误差的理解？
• RQ4 RQ4：MC-BRP 解释是否提升了用户对部署模型的支持度、对模型的信任度或对模型性能的感知？
• RQ5 RQ5：从业者与研究人员在模型解释感知上是否存在差异？MC-BRP 的有效性是否因用户背景而异？

主要发现

• 获得 MC-BRP 解释的用户在回答关于模型预测的客观问题时，准确率达到 81.1%，显著优于对照组。
• 在正向模拟中，用户基于 MC-BRP 解释预测模型输出的准确率达到 84.5%，证实其可解释性。
• 在反事实模拟中，用户识别出可导致合理预测的特征值变化的准确率达到 76.2%，证明其可操作性。
• MC-BRP 显著提升了用户对模型产生大误差原因的理解（SQ1），尽管其对信任度、部署支持度或感知性能的影响不显著（SQ2–SQ4）。
• 从业者与研究人员在 SQ2、SQ3 和 SQ4 上的回应存在显著差异，但在理解误差原因（SQ1）上无显著差异。
• 该方法在按用户背景分组后仍保持有效性，表明其在不同专业水平用户中均具稳健性。