[论文解读] Towards a Grounded Dialog Model for Explainable Artificial Intelligence

Prashan Madumal, Tim Miller+2 more|arXiv (Cornell University)|Jun 21, 2018

Explainable Artificial Intelligence (XAI)参考文献 17被引用 21

一句话总结

本文提出了一种基于六类对话中398个自然解释对话分析的数据驱动、基于事实的可解释人工智能（XAI）解释对话模型。通过基于事实的理论分析转录对话，识别出人类解释过程中核心组件、序列及循环互动，提出一种广义状态模型，通过交互式、迭代式解释对话增强社会认知信任，为构建更直观、可信的XAI系统奠定基础。

ABSTRACT

To generate trust with their users, Explainable Artificial Intelligence (XAI) systems need to include an explanation model that can communicate the internal decisions, behaviours and actions to the interacting humans. Successful explanation involves both cognitive and social processes. In this paper we focus on the challenge of meaningful interaction between an explainer and an explainee and investigate the structural aspects of an explanation in order to propose a human explanation dialog model. We follow a bottom-up approach to derive the model by analysing transcripts of 398 different explanation dialog types. We use grounded theory to code and identify key components of which an explanation dialog consists. We carry out further analysis to identify the relationships between components and sequences and cycles that occur in a dialog. We present a generalized state model obtained by the analysis and compare it with an existing conceptual dialog model of explanation.

研究动机与目标

• 为了解决可解释人工智能（XAI）系统中缺乏交互式、以用户为中心的解释模型的问题。
• 开发一种基于真实对话数据而非理论假设的广义解释对话模型。
• 建模解释中的社会认知动态，包括提问、肯定和迭代澄清。
• 通过模拟自然的人类解释对话，提升XAI系统的信任度与可用性。
• 为构建支持动态用户参与的交互式、可解释AI系统提供基础。

提出的方法

• 对六类不同类型的398个转录解释对话（包括人-人问答、人-代理问答、人-代理任务、人-代理规划、人-代理故障排除、人-代理反馈）进行基于事实的理论分析。
• 识别并编码解释对话的关键组件，包括解释、肯定、提问和澄清。
• 分析组件之间的频率、序列及关系，包括涉及重复提问与澄清的循环模式。
• 基于观察到的模式与结构关系，开发广义的解释对话状态模型。
• 将所提出的模型与Walton的解释对话概念模型进行比较，以验证其通用性与结构准确性。
• 通过迭代编码与主题分析，推导出反映自然、交互式解释过程的模型。

实验结果

研究问题

• RQ1 人类与代理之间自然解释对话的核心结构组件是什么？
• RQ2 解释、肯定与提问等组件在解释对话中如何序列化并相互关联？
• RQ3 在不同类型的互动中，解释对话中浮现了哪些模式，包括循环互动？
• RQ4 所提出的对话模型与现有解释对话概念模型相比有何异同？
• RQ5 基于数据的解释对话模型在多大程度上能提升XAI系统的可信度与可用性？

主要发现

• 最频繁的对话组件是'解释'，其次是'肯定'和'提问'，'澄清'与'重述'也较为常见。
• 最常见的对话序列以解释开始，随后是解释对象的肯定，再是解释者的肯定，表明解释接受过程中存在反馈回路。
• 循环对话模式（即解释对象在接收到解释后提出后续问题）普遍存在，尤其在故障排除与反馈对话中。
• 解释对话最常以解释或解释者的肯定结束，表明解释的完成通常以确认而非显式关闭来标记。
• 模型显示，解释者返回提问的情况极为罕见，零次返回提问是所有对话类型中最可能的结束序列。
• 所提出的模型在多种对话类型间具有泛化能力，捕捉到先前理想化概念模型中所缺乏的迭代性与交互性动态。