[论文解读] Rationalization: A Neural Machine Translation Approach to Generating Natural Language Explanations

Upol Ehsan, Brent Harrison+2 more|arXiv (Cornell University)|Feb 24, 2017

Explainable Artificial Intelligence (XAI)被引用 28

一句话总结

本文提出AI理性化（AI rationalization），一种基于神经机器翻译的神经机器翻译方法，通过将智能体内部的状态-动作表示翻译为流畅、直观的自然语言，生成类人的自然语言解释。在Frogger游戏环境中评估表明，该方法生成的解释比动作声明型或数值型基线方法更具满意度和有效性，显著提升了人类用户的满意度和感知亲密度。

ABSTRACT

We introduce AI rationalization, an approach for generating explanations of autonomous system behavior as if a human had performed the behavior. We describe a rationalization technique that uses neural machine translation to translate internal state-action representations of an autonomous agent into natural language. We evaluate our technique in the Frogger game environment, training an autonomous game playing agent to rationalize its action choices using natural language. A natural language training corpus is collected from human players thinking out loud as they play the game. We motivate the use of rationalization as an approach to explanation generation and show the results of two experiments evaluating the effectiveness of rationalization. Results of these evaluations show that neural machine translation is able to accurately generate rationalizations that describe agent behavior, and that rationalizations are more satisfying to humans than other alternative methods of explanation.

研究动机与目标

• 开发一种以人为中心的解释生成方法，使非专家能够更好地理解自主智能体的决策过程。
• 通过将解释建模为自然语言翻译，填补顺序决策系统在可解释人工智能方面的空白。
• 评估神经机器翻译是否能够生成准确、令人满意的解释，从而增强用户信任与亲密度。
• 基于人类对解释质量的感知，识别可解释智能体的设计原则。

提出的方法

• 收集人类玩家在玩Frogger游戏时描述其推理过程的自然语言语料，构建状态-动作对与对应解释的平行数据集。
• 训练一个编码器-解码器神经网络（序列到序列模型），将智能体内部的状态-动作表示映射为自然语言解释。
• 使用训练好的模型在游戏过程中实时生成类人的自然语言解释。
• 通过人类实验评估解释质量，比较理性化解释与动作声明型及数值型基线解释的差异。
• 对定性反馈进行主题分析，识别令人满意的解释的关键属性。
• 使用半合成数据评估翻译准确性和模型在生成语境相关解释方面的能力。

实验结果

研究问题

• RQ1 神经机器翻译能否有效生成准确反映智能体内部状态和动作选择的自然语言解释？
• RQ2 与其它解释格式相比，人类用户如何评价AI生成的理性化解释的满意度和感知质量？
• RQ3 解释的哪些属性——如解释力、相关性与细节程度——最显著地影响用户满意度？
• RQ4 理性化解释所呈现的类人沟通风格在多大程度上影响了用户与自主智能体之间的亲密度、信心以及合作意愿？

主要发现

• 基于神经机器翻译的理性化系统生成的解释在用户满意度方面显著优于动作声明型和数值型基线解释。
• 参与者表示，该理性化智能体的解释帮助他们理解了智能体的动机与行为，增强了亲密度与信任感。
• 用户最常提到的令人满意的解释属性包括解释力、相关性、游戏化（轻松活泼）的语气以及适当的细节程度，部分用户偏好简洁与深度之间的平衡。
• 尽管动作声明型机器人使用了自然语言，但其被感知为信息量不足且令人失望，凸显了解释内容的重要性，而不仅仅是语言形式。
• 主题分析显示，类人化的沟通风格，包括感知到的人格特征与幽默感，显著提升了用户参与度与满意度。
• 研究结果支持AI理性化作为一种可行的、以用户为中心的可解释人工智能方法，能够提升非专家用户的可访问性与可用性。