[论文解读] The human-AI relationship in decision-making: AI explanation to support people on justifying their decisions

Juliana Jansen Ferreira, Mateus de Souza Monteiro|arXiv (Cornell University)|Feb 10, 2021

Explainable Artificial Intelligence (XAI)被引用 13

一句话总结

本文提出，可解释人工智能（XAI）对于促进信任以及在人机决策协作中实现有效辩护至关重要。通过将AI解释整合到决策工作流中，个体能够更好地理解并为受AI影响的决策进行辩护，尤其是在问责制至关重要的高风险领域。其主要贡献在于将XAI不仅视为技术透明性，更视为一种支持人类决策者向他人辩护结果的关联性工具。

ABSTRACT

The explanation dimension of Artificial Intelligence (AI) based system has been a hot topic for the past years. Different communities have raised concerns about the increasing presence of AI in people's everyday tasks and how it can affect people's lives. There is a lot of research addressing the interpretability and transparency concepts of explainable AI (XAI), which are usually related to algorithms and Machine Learning (ML) models. But in decision-making scenarios, people need more awareness of how AI works and its outcomes to build a relationship with that system. Decision-makers usually need to justify their decision to others in different domains. If that decision is somehow based on or influenced by an AI-system outcome, the explanation about how the AI reached that result is key to building trust between AI and humans in decision-making scenarios. In this position paper, we discuss the role of XAI in decision-making scenarios, our vision of Decision-Making with AI-system in the loop, and explore one case from the literature about how XAI can impact people justifying their decisions, considering the importance of building the human-AI relationship for those scenarios.

研究动机与目标

• 探讨XAI在支持人类决策者为其在专业或机构环境中所作决策进行辩护时所起的作用。
• 弥补XAI研究中侧重于模型可解释性或透明性，而忽视辩护需求的空白。
• 提出一种人机关系模型，其中AI解释被设计用于支持问责制与决策辩护。
• 通过文献案例研究，展示解释质量如何影响决策者为受AI影响的结果进行辩护的能力。
• 倡导XAI系统不仅超越技术可解释性，还应支持决策情境中的社会认知需求。

提出的方法

• 作者采用立场论文方法，综合人机交互（HCI）与可解释人工智能（XAI）等跨学科见解。
• 他们分析现有XAI框架，并将这些框架的目的从模型透明性重新定义为支持决策情境中的辩护。
• 使用文献中的一个案例研究，说明AI解释如何影响决策者向利益相关方辩护结果的能力。
• 该方法强调对解释在信任、问责制和人机协作方面影响的定性分析。
• 该框架基于社会技术系统理论，强调人类与AI在决策回路中的相互依存关系。
• 该方法整合了决策理论与伦理AI的见解，将解释定位为一种关系性与辩护性工具。

实验结果

研究问题

• RQ1 AI解释如何支持受AI影响的决策的人类决策者为其决策进行辩护？
• RQ2 解释质量在多大程度上影响决策者辩护其选择的能力，是促进还是阻碍？
• RQ3 XAI应如何设计，才能不仅实现透明性，还能支持问责制与决策过程中的信任？
• RQ4 人机关系在多大程度上影响解释在辩护场景中的有效性？
• RQ5 在专业决策情境中，AI解释的社会认知需求是什么？

主要发现

• AI解释显著提升了决策者向外部利益相关方辩护受AI影响决策的能力。
• 即使AI输出正确，解释质量仍会直接影响信任度与决策的合法感知。
• 研究表明，当解释与决策者的推理过程和沟通需求相一致时，其效果最佳。
• 仅使AI模型可解释是不够的——解释必须根据辩护语境和受众进行定制。
• 当解释支持问责制而非仅技术透明性时，人机关系得到加强。
• 案例研究显示，若缺乏适当解释，决策者可能因无法辩护而拒绝或错误呈现AI输出。