[论文解读] The What, the Why, and the How of Artificial Explanations in Automated Decision-Making

Tarek R. Besold, Sara L. Uckelman|arXiv (Cornell University)|Aug 21, 2018

Explainable Artificial Intelligence (XAI)参考文献 44被引用 10

一句话总结

本文提出了一种情境敏感的、认识论层面的自动化决策解释理论，主张解释必须在沟通上有效、足够准确、足够真实，并在认识论上令人满意。该文引入了四个理想标准——沟通有效性、准确性充分性、真实性充分性以及认识论满足感——作为真正可解释人工智能系统的基本标准。

ABSTRACT

The increasing incorporation of Artificial Intelligence in the form of automated systems into decision-making procedures highlights not only the importance of decision theory for automated systems but also the need for these decision procedures to be explainable to the people involved in them. Traditional realist accounts of explanation, wherein explanation is a relation that holds (or does not hold) eternally between an explanans and an explanandum, are not adequate to account for the notion of explanation required for artificial decision procedures. We offer an alternative account of explanation as used in the context of automated decision-making that makes explanation an epistemic phenomenon, and one that is dependent on context. This account of explanation better accounts for the way that we talk about, and use, explanations and derived concepts, such as `explanatory power', and also allows us to differentiate between reasons or causes on the one hand, which do not need to have an epistemic aspect, and explanations on the other, which do have such an aspect. Against this theoretical backdrop we then review existing approaches to explanation in Artificial Intelligence and Machine Learning, and suggest desiderata which truly explainable decision systems should fulfill.

研究动机与目标

• 解决人工智能系统中的解释鸿沟问题，即决策被做出但人类用户未能充分理解。
• 挑战现实主义解释理论，因其未能体现人类在人机交互中理解的认知与情境特性。
• 确立人工智能中令人满意的解释应具备的标准，超越单纯的算法正确性，涵盖以用户为中心的沟通与认知维度。
• 为可解释人工智能提供理论基础，支持其在医疗、金融等高风险领域中的实际应用。
• 通过将解释建立在认识论需求与用户情境之上，弥合理论决策论与现实世界人机交互之间的差距。

提出的方法

• 发展一种认识论层面的解释理论，其中解释并非事实之间的永恒关系，而是依赖于被解释者的认知与情境状态。
• 通过强调其认识论功能——即促进理解与知情行动——将解释与单纯的因果或理由区分开来。
• 提出四个核心理想标准：沟通有效性（可理解且可操作）、准确性充分性（充分足够，非完美）、真实性充分性（真实，但不要求完美）、认识论满足感（满足用户对理解的认知渴求）。
• 将该框架应用于医疗诊断、贷款决策和推荐系统等现实世界人工智能情境，其中用户理解与信任至关重要。
• 通过这些理想标准分析现有AI解释方法，识别当前方法中的不足。
• 提出准确性、真实性、可理解性与用户满意度之间的权衡并非缺陷，而是可解释人工智能中必要的设计选择。

实验结果

研究问题

• RQ1 在自动化决策的语境下，什么使解释与单纯的因果或理由区别开来？
• RQ2 为何传统现实主义解释理论无法捕捉人类用户与AI系统交互时的实际需求？
• RQ3 在人类认知局限与情境差异的背景下，如何设计出不仅理论上有效、而且在实践中有效的AI解释？
• RQ4 解释必须满足哪些标准，才能被人类用户视为可信且可操作？
• RQ5 人工智能系统在不损害用户理解力或决策能力的前提下，如何在准确性、真实性与可理解性之间实现平衡？

主要发现

• 人工智能中的解释并非静态、客观的事实关系，而是依赖于用户知识、语境与认知需求的认识论现象。
• 解释鸿沟——即系统输出为人所知但未被理解——无法仅通过算法正确性来弥合；必须依赖以用户为中心的解释设计。
• 沟通有效性至关重要：解释必须可理解，并能赋能用户调整其行为，即使其并非完全准确。
• 相较于完美准确或真实，准确性充分性与真实性充分性是更实际、更有效的目标，尤其在需与可理解性权衡时。
• 认识论满足感——即用户感到其对理解的追寻已告一段落——是成功解释的必要条件，即使解释并非面面俱到。
• 当前的AI解释方法往往未能同时满足这四个理想标准，表明可解释人工智能领域亟需新的理论与工程框架。