[论文解读] Towards Providing Explanations for AI Planner Decisions

Rita Borgo, Michael Cashmore+1 more|Strathprints: The University of Strathclyde institutional repository (University of Strathclyde)|Oct 15, 2018

AI-based Problem Solving and Planning参考文献 15被引用 10

一句话总结

本文提出了一种以用户为中心的方法，通过允许用户提出替代动作、生成并比较替代计划，从而解释AI规划器决策的原因。XAI-Plan框架在ROSPlan中实现了该方法，提供透明且交互式的解释，增强信任感，并支持在复杂领域中的混合主动性规划。

ABSTRACT

In order to engender trust in AI, humans must understand what an AI system is trying to achieve, and why. To overcome this problem, the underlying AI process must produce justifications and explanations that are both transparent and comprehensible to the user. AI Planning is well placed to be able to address this challenge. In this paper we present a methodology to provide initial explanations for the decisions made by the planner. Explanations are created by allowing the user to suggest alternative actions in plans and then compare the resulting plans with the one found by the planner. The methodology is implemented in the new XAI-Plan framework.

研究动机与目标

• 解决高风险领域中对可解释AI的迫切需求，使规划器能够向用户解释其决策依据。
• 克服现有规划解释系统仅描述计划的*功能*，而无法解释*为何选择该计划*的局限性。
• 开发一种与领域无关的方法论，使用户能够探索并比较替代动作及其生成的计划。
• 以支持混合主动性规划和用户专业知识的方式，将解释生成集成到规划流程中。
• 提供一种框架，通过证明替代方案无效或效率低于规划器输出方案，生成决策的合理依据。

提出的方法

• 允许用户选择一个规划动作，并从该状态下满足前提条件的动作列表中提出一个替代动作。
• 通过添加新的谓词和算子，动态修改规划领域以表示用户建议的动作。
• 在修改后的问题实例上重新运行规划器，基于替代动作生成新计划。
• 使用用户定义的度量标准（如计划成本、持续时间或资源使用量）对原始计划与替代计划进行拼接和比较。
• 在实时交互界面中同时显示两个计划及其度量比较结果，界面包含分层计划树和性能图表。
• 以ROSPlan作为底层规划基础设施，扩展其功能以支持XAI-Plan的解释生成与用户交互。

实验结果

研究问题

• RQ1 AI规划器如何为*为何选择某一特定计划而非其他替代方案*提供解释？
• RQ2 能否利用用户主动建议的替代方案，生成有意义的、具有比较性的规划决策解释？
• RQ3 如何使复杂规划领域中的非专家用户也能理解并掌握解释内容？
• RQ4 用户提供的替代方案在多大程度上能改善最终计划，或揭示规划器的局限性？
• RQ5 如何在不牺牲性能的前提下，将解释过程集成到实时交互式规划框架中？

主要发现

• XAI-Plan框架成功使用户能够探索和比较替代动作，生成新计划，并基于比较度量提供合理依据。
• 系统表明规划器所选计划不劣于用户建议的替代方案，清晰解释了其选择理由。
• 与ROSPlan的集成使该框架能够在涉及时间约束、数值状态量和连续环境的真实世界领域中运行。
• 用户界面支持实时反馈、通过柱状图进行计划比较，以及通过分层计划树进行导航与追踪。
• 该框架通过允许用户以替代动作建议的形式贡献领域知识，支持混合主动性规划。
• 该方法与领域无关，且对底层规划器无依赖，因此可广泛适用于不同规划系统。