[论文解读] State2Explanation: Concept-Based Explanations to Benefit Agent Learning and User Understanding

Devleena Das, Sonia Chernova+1 more|arXiv (Cornell University)|Sep 21, 2023

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

本文提出 State2Explanation (S2E)，一种统一框架，通过学习代理状态/动作与基于概念的解释之间的联合嵌入，同时实现通过奖励塑形提升强化学习代理训练效率，并增强部署阶段的终端用户理解。在 Connect 4 和 Lunar Lander 中，S2E 显著提升了学习效率和用户任务表现，通过基于目标导向抽象的概念化解释实现了双重优势。

ABSTRACT

As more non-AI experts use complex AI systems for daily tasks, there has been an increasing effort to develop methods that produce explanations of AI decision making that are understandable by non-AI experts. Towards this effort, leveraging higher-level concepts and producing concept-based explanations have become a popular method. Most concept-based explanations have been developed for classification techniques, and we posit that the few existing methods for sequential decision making are limited in scope. In this work, we first contribute a desiderata for defining concepts in sequential decision making settings. Additionally, inspired by the Protege Effect which states explaining knowledge often reinforces one's self-learning, we explore how concept-based explanations of an RL agent's decision making can in turn improve the agent's learning rate, as well as improve end-user understanding of the agent's decision making. To this end, we contribute a unified framework, State2Explanation (S2E), that involves learning a joint embedding model between state-action pairs and concept-based explanations, and leveraging such learned model to both (1) inform reward shaping during an agent's training, and (2) provide explanations to end-users at deployment for improved task performance. Our experimental validations, in Connect 4 and Lunar Lander, demonstrate the success of S2E in providing a dual-benefit, successfully informing reward shaping and improving agent learning rate, as well as significantly improving end user task performance at deployment time.

研究动机与目标

• 为解决序列决策系统中基于概念的解释的不足，特别是超越先决条件和动作成本的解释。
• 探究基于概念的解释是否能同时提升 AI 代理（通过奖励塑形）和终端用户（通过提升理解能力）的表现。
• 开发一个统一框架，学习状态/动作与解释之间的联合嵌入，以支持双重用途应用。
• 定义在序列决策中“概念”应具备的特征，强调高层次、与目标相关的抽象。
• 在复杂的强化学习环境中验证 S2E 在提升代理学习速率和终端用户任务表现方面的有效性。

提出的方法

• S2E 使用对比学习目标，学习状态-动作对与基于概念的解释之间的联合嵌入模型。
• 通过学习到的嵌入，在代理训练期间自动实现奖励塑形，识别何时以及如何应用基于概念的奖励。
• 在部署阶段，模型利用相同的嵌入空间检索基于概念的解释供用户理解。
• 该框架整合了两种抽象技术：InF（基于影响的过滤）和 TeG（任务目标抽象），以生成高层次、用户友好的解释。
• 概念的定义基于与目标相关的影响力，而非仅限于先决条件或逻辑公式，遵循为序列决策提出的理想特征标准。
• 通过模型基度量（学习速率、样本效率）和用户研究（任务表现、ATS）在 Connect 4 和 Lunar Lander 中对方法进行评估。

实验结果

研究问题

• RQ1 基于概念的解释是否能通过奖励塑形提升强化学习代理的学习速率？
• RQ2 基于概念的解释是否能增强序列决策任务中终端用户的理解能力和任务表现？
• RQ3 在序列决策的语境中，除了先决条件和动作成本外，什么定义了“概念”？
• RQ4 像 InF 和 TeG 这类抽象技术如何影响基于概念的解释对终端用户的有效性？
• RQ5 一个统一的嵌入模型是否能有效支持代理训练和用户解释检索？

主要发现

• 在 Connect 4 和 Lunar Lander 中，S2E 达到了与专家定义的奖励函数相当的学习速率，证明了其在自动奖励塑形方面的有效性。
• 在用户评估中，与无解释、自然语言解释和仅视觉解释相比，接触 S2E 生成的解释显著提升了参与者的任务表现（ATS）。
• S2E 中 InF 与 TeG 抽象方法的结合在用户任务表现上带来了最显著的提升，尤其在 Lunar Lander 等高频强化学习领域表现突出。
• 用户研究表明，当参与者接收到同时包含 InF 和 TeG 抽象的 S2E 解释时，ATS 显著提升（p < 0.01），优于所有基线方法。
• 联合嵌入模型成功检索出在语义上合理且对代理训练和用户理解均有用的基于概念的解释。
• 在测试领域中，错误的解释检索对性能影响极小，但未来工作中仍需关注高风险应用中误导性解释的潜在风险。