[论文解读] One Explanation Does Not Fit All: A Toolkit and Taxonomy of AI Explainability Techniques

Vijay Arya, Rachel Bellamy+18 more|arXiv (Cornell University)|Sep 6, 2019

Explainable Artificial Intelligence (XAI)参考文献 46被引用 263

一句话总结

该论文提出 AI Explainability 360 (AIX360)，一个开源工具包，包含 eight explainability methods 和 two evaluation metrics，以及一个实用的分类体系，用以将解释与多样化的利益相关者匹配。

ABSTRACT

As artificial intelligence and machine learning algorithms make further inroads into society, calls are increasing from multiple stakeholders for these algorithms to explain their outputs. At the same time, these stakeholders, whether they be affected citizens, government regulators, domain experts, or system developers, present different requirements for explanations. Toward addressing these needs, we introduce AI Explainability 360 (http://aix360.mybluemix.net/), an open-source software toolkit featuring eight diverse and state-of-the-art explainability methods and two evaluation metrics. Equally important, we provide a taxonomy to help entities requiring explanations to navigate the space of explanation methods, not only those in the toolkit but also in the broader literature on explainability. For data scientists and other users of the toolkit, we have implemented an extensible software architecture that organizes methods according to their place in the AI modeling pipeline. We also discuss enhancements to bring research innovations closer to consumers of explanations, ranging from simplified, more accessible versions of algorithms, to tutorials and an interactive web demo to introduce AI explainability to different audiences and application domains. Together, our toolkit and taxonomy can help identify gaps where more explainability methods are needed and provide a platform to incorporate them as they are developed.

研究动机与目标

• 为 AI 可解释性方法领域提供一个全面的分类体系，以适应多样化的使用者画像。
• 开发一个可扩展的开源工具包（AIX360），实现跨数据、模型和预测阶段的多种可解释性方法。
• 提升现有可解释性方法的可用性，使数据科学家和非技术利益相关者能够更好地使用。
• 提供教育材料、教程和演示，以提高跨领域的可解释性概念的普及度。

提出的方法

• 引入一个分类体系，将可解释性方法按解释的对象、方式以及在何种层次（本地/全局）进行组织。
• 描述一个可扩展的软件架构，将分类树叶映射到 AIX360 内的具体可解释性算法。
• 实现 eight 可解释性算法（如 BRCG、GLRM、ProtoDash、ProfWeight、TED、CEM、CEM-MAF、DIP-VAE）和 two 指标（Faithfulness、Monotonicity）。
• 提供一个 API 设计，模仿 scikit-learn，便于算法开发者扩展并在数据、模型和预测解释器之间重复使用。
• 提出改进措施，使方法更易于使用（如 BRCG-light、TED 数据合成）并构建一个面向非专业人士的交互式网页演示。

实验结果

研究问题

• RQ1 简单分类体系如何帮助用户为不同应用和利益相关者选择合适的可解释性方法？
• RQ2 在 AI 建模管道中整合多种可解释性技术的可扩展软件架构应是什么样？
• RQ3 如何增强现有可解释性方法以便在实际部署中对非技术受众更友好？
• RQ4 教育材料和演示能否在放贷、医疗等现实领域促进对可解释性的采用？

主要发现

• 提出的分类体系可作为决策树，基于数据/模型/预测需求及本地/全局、静态/交互等考虑来指导方法选择。
• AIX360 提供 eight 种可解释性方法和 two 种评估指标，并在可扩展的 Python 架构中将它们映射到分类体系。
• 本文展示了实际改进（如 BRCG-light、TED 数据合成）以提升在现实情境中的采用和可用性。
• 该工具包包含教育材料、教程和一个交互式网页演示，向跨领域的非专家介绍可解释性。