[论文解读] Please Stop Explaining Black Box Models for High Stakes Decisions.

Cynthia Rudin|arXiv (Cornell University)|Nov 26, 2018

Explainable Artificial Intelligence (XAI)参考文献 15被引用 140

一句话总结

本文认为，在医疗保健和刑事司法等高风险领域依赖黑箱机器学习模型的事后解释是不充分且可能有害的。相反，它主张从一开始就设计本质上可解释的模型，以消除对不透明解释的依赖，并降低社会风险。

ABSTRACT

Black box machine learning models are currently being used for high stakes decision-making throughout society, causing problems throughout healthcare, criminal justice, and in other domains. People have hoped that creating methods for explaining these black box models will alleviate some of these problems, but trying to explain black box models, rather than creating models that are interpretable in the first place, is likely to perpetuate bad practices and can potentially cause catastrophic harm to society. There is a way forward - it is to design models that are inherently interpretable.

研究动机与目标

• 批判在高风险决策环境中对黑箱模型进行事后解释的普遍依赖。
• 强调通过解释而非重新设计来延续有缺陷模型的风险。
• 主张本质上可解释的模型是可解释人工智能方法的更安全、更可持续的替代方案。
• 将研究与开发的重点从解释不透明模型转向从一开始就构建透明、可解释的系统。

提出的方法

• 提出从解释现有黑箱模型转向设计从设计上就具备可解释性的模型的范式转变。
• 强调可解释性应是模型开发的核心特征，而非事后补充。
• 倡导使用本质上可解释的模型，如线性模型、决策树或具有明确特征贡献的稀疏模型。
• 建议基于模型对现实决策逻辑的透明度和保真度进行评估，而非基于解释保真度指标。
• 强调可解释性可降低在高风险应用中被误解和产生意外后果的风险。
• 呼吁重新评估评估框架，优先考虑模型透明度而非解释复杂度。

实验结果

研究问题

• RQ1 为何对黑箱模型的事后解释在高风险领域中不足以确保公平性与安全性？
• RQ2 在关键应用中依赖解释而非本质上可解释的模型，其系统性风险是什么？
• RQ3 如何重新定向模型设计，以从一开始就优先考虑可解释性？
• RQ4 继续部署带有解释的不透明模型，其实际与伦理后果是什么？
• RQ5 应采用何种替代评估标准，以优先考虑透明度而非解释复杂度？

主要发现

• 对黑箱模型的事后解释往往无法捕捉真正的决策逻辑，导致误解和潜在危害。
• 依赖解释可能固化有缺陷的模型并掩盖潜在偏见，尤其是在刑事司法和医疗保健等高风险领域。
• 本质上可解释的模型可降低误解风险，提升问责性与信任度。
• 本文结论认为，解释不能替代透明度，模型设计必须从一开始就优先考虑可解释性。
• 转向可解释模型不仅是技术上可行的，而且对负责任的人工智能部署而言是伦理上的必要之举。