[论文解读] Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead
本论文主张在高风险决策中应依赖本质上可解释的模型，而非对黑箱模型的解释，并讨论为什么可解释的机器学习存在缺陷以及如何开发和治理可解释的机器学习。
Black box machine learning models are currently being used for high stakes decision-making throughout society, causing problems throughout healthcare, criminal justice, and in other domains. People have hoped that creating methods for explaining these black box models will alleviate some of these problems, but trying to extit{explain} black box models, rather than creating models that are extit{interpretable} in the first place, is likely to perpetuate bad practices and can potentially cause catastrophic harm to society. There is a way forward -- it is to design models that are inherently interpretable. This manuscript clarifies the chasm between explaining black boxes and using inherently interpretable models, outlines several key reasons why explainable black boxes should be avoided in high-stakes decisions, identifies challenges to interpretable machine learning, and provides several example applications where interpretable models could potentially replace black box models in criminal justice, healthcare, and computer vision.
研究动机与目标
- 澄清在高风险领域解释黑箱机器学习的局限性与风险。
- 倡导使用在设计上提供可信解释的本质上可解释的模型。
- 识别如刑事司法与医疗等领域的领域特定可解释性约束与收益。
- 讨论采用可解释机器学习的治理、政策影响与实际挑战。
提出的方法
- 批判性地比较可解释的机器学习与本身可解释模型，并讨论解释与原始模型之间的保真性问题。
- 将 CORELS 可解释规则列表方法作为一个稀疏、可解释模型的示例，具有竞争的准确性。
- 在遵循领域特定约束的前提下，概述构建可解释模型的体系结构与优化挑战。
- 在真实世界领域提供黑箱模型与可解释替代方案之间的定性比较。
实验结果
研究问题
- RQ1本身可解释的模型是否能够在高风险任务中达到与黑箱模型相当的准确性？
- RQ2在敏感领域采用可解释机器学习面临的主要实际与治理障碍是什么？
- RQ3如何构建可解释模型以满足领域知识，如稀疏性、可加性、单调性或因果性？
- RQ4在高风险决策中，对黑箱模型的事后解释有哪些局限性？
- RQ5哪些政策提案可以激励从黑箱模型向可解释模型的转变？
主要发现
- 可解释的事后解释方法通常只在有前提和前提条件下产生可信的近似解释，且可能具有误导性。
- 当使用有意义的特征时，结构化数据环境下可解释模型的预测性能可以与黑箱模型相当。
- 在高风险情境中部署专有黑箱模型存在显著的治理与商业模式障碍。
- 像 CORELS 这样的可解释模型表明，在某些再犯罪预测任务中，简单、透明的规则可以与复杂模型相媲美。
- 若可解释模型在性能上接近黑箱替代品，政策与监管方面的考量可能要求使用可解释模型。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。