[论文解读] Why? Why not? When? Visual Explanations of Agent Behavior in Reinforcement Learning

Aditi Mishra, Utkarsh Soni+2 more|arXiv (Cornell University)|Apr 6, 2021

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

PolicyExplainer 是一个视觉分析系统，使非专家用户能够通过直观的视觉解释，以交互方式查询强化学习（RL）智能体，回答三个核心问题：'为何采取此行动？'、'为何不采取其他行动？' 以及'此行动在何时采取？'。与基于文本的解释相比，该系统在医疗保健和机器人等安全关键领域中，更有效地提升了非专家的信任感与理解力。

ABSTRACT

Reinforcement learning (RL) is used in many domains, including autonomous driving, robotics, stock trading, and video games. Unfortunately, the black box nature of RL agents, combined with legal and ethical considerations, makes it increasingly important that humans (including those are who not experts in RL) understand the reasoning behind the actions taken by an RL agent, particularly in safety-critical domains. To help address this challenge, we introduce PolicyExplainer, a visual analytics interface which lets the user directly query an autonomous agent. PolicyExplainer visualizes the states, policy, and expected future rewards for an agent, and supports asking and answering questions such as: Why take this action? Why not take this other action? When is this action taken? PolicyExplainer is designed based upon a domain analysis with RL researchers, and is evaluated via qualitative and quantitative assessments on a trio of domains: taxi navigation, a stack bot domain, and drug recommendation for HIV patients. We find that PolicyExplainer promotes trust and understanding of agent decisions better than a state-of-the-art text-based explanation approach. Interviews with domain practitioners provide further validation for PolicyExplainer as applied to safety-critical domains. Our results help demonstrate how visualization-based approaches can be leveraged to decode the behavior of autonomous RL agents, particularly for RL non-experts.

研究动机与目标

• 解决强化学习（RL）智能体可解释性方面的挑战，特别是在非专家用户必须信任智能体决策的安全关键领域中。
• 克服 RL 模型的黑箱特性，以增强现实应用中的透明度与可问责性。
• 设计一种通用的、与模型无关的视觉分析界面，支持非专家用户对 RL 智能体进行交互式查询。
• 评估视觉解释相较于最先进文本解释方法在用户信任度与认知负荷方面的有效性。
• 在多种领域中展示系统的实用性，包括出租车导航、HIV 药物推荐以及工业机器人（StackBot）。

提出的方法

• 开发一种视觉分析界面，将状态表示、策略决策和预期未来奖励映射为交互式视觉编码。
• 通过视觉对比与时间轴高亮，支持三种核心用户查询：'为何采取此行动？'、'为何不采取其他行动？' 以及'此行动在何时采取？'。
• 使用树图及其他可视化技术，编码状态-动作价值（Q-value）分布及在状态空间中策略行为的分布。
• 设计系统时保持与模型无关，支持基于模型和无模型的 RL 算法，无需重新训练模型。
• 在专家访谈中集成用户反馈回路，以优化视觉设计，确保非技术用户也能理解。
• 应用降维与状态聚类技术以应对大规模或连续状态空间的可扩展性问题，未来计划通过重要性函数进一步扩展。

实验结果

研究问题

• RQ1 如何利用视觉分析向非专家用户解释 RL 智能体行为，以增强信任并降低认知负荷？
• RQ2 与基于文本的解释相比，'为何？为何不？何时？' 的视觉解释在用户理解力与信任度方面表现如何？
• RQ3 视觉界面能否有效支持在包括安全关键应用在内的多种真实世界领域中对 RL 智能体进行交互式查询？
• RQ4 哪些设计原则与视觉编码方式最能有效支持向无机器学习专业知识的用户解释复杂 RL 策略？
• RQ5 视觉解释系统如何适应大规模或连续状态空间，同时保持可解释性？

主要发现

• 与最先进的基于自然语言生成的文本解释方法相比，PolicyExplainer 显著提升了用户对 RL 智能体决策的信任与理解。
• 用户认为视觉解释比文本解释更直观，认知负担更低，尤其是在跨不同状态理解策略行为时。
• 在一项受控用户研究中，非专家参与者在使用视觉查询时对智能体决策的理解优于依赖文本解释的情况。
• HIV 药物推荐领域的专家确认，PolicyExplainer 的解释具有信息量且与临床推理一致，支持其在安全关键医疗场景中的应用。
• 该系统已成功应用于三个不同领域——出租车导航、HIV 治疗和机器人堆叠，证明了其通用性与对不同 RL 问题的适应能力。
• 专家建议未来可进行改进，如增加置信度可视化、基于用户反馈的自适应界面，以及添加叙事注释，以提升在低 literacy 或低资源医疗环境中的可用性。