[论文解读] What Does Explainable AI Really Mean? A New Conceptualization of Perspectives

Derek Doran, Sarah Schulz+1 more|arXiv (Cornell University)|Oct 2, 2017

Multimodal Machine Learning Applications参考文献 11被引用 332

一句话总结

本文识别三种跨领域可解释AI的概念——不透明、可解释、可理解——并提出第四种真正的可解释AI，整合自动推理以提供解释。

ABSTRACT

We characterize three notions of explainable AI that cut across research fields: opaque systems that offer no insight into its algo- rithmic mechanisms; interpretable systems where users can mathemat- ically analyze its algorithmic mechanisms; and comprehensible systems that emit symbols enabling user-driven explanations of how a conclusion is reached. The paper is motivated by a corpus analysis of NIPS, ACL, COGSCI, and ICCV/ECCV paper titles showing differences in how work on explainable AI is positioned in various fields. We close by introducing a fourth notion: truly explainable systems, where automated reasoning is central to output crafted explanations without requiring human post processing as final step of the generative process.

研究动机与目标

• 在高风险情境中为 AI 决策提供解释的必要性提供动机。
• 分析跨越 AI 子领域的可解释性框架，基于语料库数据。
• 定义并区分适用于跨学科的三种可解释性概念。
• 提出第四种概念——真正的可解释AI——将自动推理整合用于解释。

提出的方法

• 对 ACL、NIPS、COGSCI 和 ICCV/ECCV 在 2007–2016 年的可解释性术语进行基于语料的分析。
• 对 explain、interpret 和 comprehensibility 进行子串检索以量化可解释性引用。
• 使用词云显示上下文，以比较各领域的语义内容。
• 定义三种可解释AI 的概念：opaque、interpretable、comprehensible，并讨论它们的含义。
• 为第四种概念提出主张——真正的可解释AI——将自动推理与符号化解释整合。

实验结果

研究问题

• RQ1 文献中识别的跨领域可解释AI 的概念有哪些？
• RQ2 不同的 AI 社区（视觉、NLP、认知科学）如何框定和使用可解释性术语？
• RQ3 opaque、interpretable、comprehensible 系统有何区别，何时更可取？
• RQ4 在实现真正的可解释AI 中，自动推理扮演何种角色？

主要发现

• 不同领域的可解释性语言和关注点不同：COGSCI 强调机制（参与者、任务、效果），而 NLP/视觉 更关注数据、特征和算法。
• 可解释模型将数学映射暴露于输出；可理解模型输出符号，便于用户驱动的解释；不透明模型对机制没有洞察。
• 需要超越事后解释，朝向真正的可解释AI，使用自动推理来生成解释。
• 第四种概念——真正的可解释AI——需要将神经-符号推理与面向用户的解释整合。