[论文解读] Why Don't You Do Something About It? Outlining Connections between AI Explanations and User Actions

Gennie Mansi, Mark Riedl|arXiv (Cornell University)|May 10, 2023

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

本文提出了一种将可解释人工智能（XAI）解释与可操作的用户响应相联系的框架，识别出解释中的10类信息及其相关用户行为。通过将信息类型映射到具体行动，该研究将XAI评估重新聚焦于现实世界中的用户自主性，填补了解释内容与社会技术系统中实际用户行为之间联系的空白。

ABSTRACT

A core assumption of explainable AI systems is that explanations change what users know, thereby enabling them to act within their complex socio-technical environments. Despite the centrality of action, explanations are often organized and evaluated based on technical aspects. Prior work varies widely in the connections it traces between information provided in explanations and resulting user actions. An important first step in centering action in evaluations is understanding what the XAI community collectively recognizes as the range of information that explanations can present and what actions are associated with them. In this paper, we present our framework, which maps prior work on information presented in explanations and user action, and we discuss the gaps we uncovered about the information presented to users.

研究动机与目标

• 解决关于XAI解释中应包含哪些信息以及其如何与用户行为关联的共识缺失问题。
• 将XAI系统的评估重新聚焦于用户行动，而非仅依赖技术指标。
• 识别并分类能够使用户采取有意义行动的解释信息类型。
• 提供一种结构化、基于证据的框架，将解释内容与可操作结果相联系。
• 通过将解释内容与用户自主性及社会技术背景对齐，支持XAI系统的以用户为中心设计。

提出的方法

• 作者对30篇关于XAI的综述论文进行了系统性文献回顾，筛选出11篇聚焦于解释内容与用户行为的论文。
• 他们从现有研究中综合信息类型，特别借鉴了ICO与Turing研究所的分类体系，并通过迭代优化，提炼出10个主题类别的解释信息。
• 针对每一类信息，他们明确识别并列出了可从解释中逻辑推导出的用户行动。
• 该框架通过迭代分类与重新定义过程构建，确保主题一致性并符合用户行动目标。
• 最终框架将解释信息组织为三个集群：模型透明度（模型如何做决策）、模型问责（谁构建了它以及原因）、模型情境（其在用户情境及外部系统中的定位）。
• 该框架以可视化映射工具的形式呈现，旨在指导设计者与评估者将解释内容与可操作结果对齐。

实验结果

研究问题

• RQ1 XAI解释通常呈现哪些类型的信息，它们如何与用户行为关联？
• RQ2 当前文献在解释内容与用户自主性之间联系方面存在哪些关键缺口？
• RQ3 如何系统性地对解释内容进行分类，以支持现实社会技术系统中可操作的用户响应？
• RQ4 解释应支持哪些最显著的用户行为，以及如何将它们与特定信息类型关联？
• RQ5 XAI评估如何从技术指标转向可操作性作为核心评估标准？

主要发现

• 该研究识别出10类不同的信息类型，解释可传达这些信息，分为三个集群：模型透明度、模型问责与模型情境。
• 针对每一类信息，该框架明确列出了用户可采取的可操作响应，例如纠正输入数据、寻求替代决策或挑战模型结果。
• 分析揭示了文献中的显著缺口：尽管许多论文描述了解释类型，但很少明确将其与用户行为或可操作性关联。
• 该框架表明，解释通常基于技术准确性或可解释性进行评估，而非其支持有意义用户干预的能力。
• 研究表明，将解释内容与用户行为对齐，可增强信任、透明度以及人机交互中用户感知的自主性。
• 该框架为基于其支持用户驱动决策与系统级干预能力的XAI系统评估，提供了一个结构化、可复用的基础。