[论文解读] Online Explanation Generation for Human-Robot Teaming

Mehrdad Zakershahrak, Ze Gong+2 more|arXiv (Cornell University)|Mar 15, 2019

AI-based Problem Solving and Planning参考文献 26被引用 9

一句话总结

本文提出了在线解释生成（OEG）方法，用于人机协作场景，将解释分解为逐步分段的信息，并在计划执行过程中分步传递，以减轻人类的认知负荷。该方法基于模型调和机制，使机器人与人类的心理模型保持一致，三种变体（OEG-PP、OEG-NA、OEG-AP）在感知理解度和工作负荷方面相比基线方法均有显著提升，通过人类实验和合成测试得到验证。

ABSTRACT

As AI becomes an integral part of our lives, the development of explainable AI, embodied in the decision-making process of an AI or robotic agent, becomes imperative. For a robotic teammate, the ability to generate explanations to justify its behavior is one of the key requirements of explainable agency. Prior work on explanation generation has been focused on supporting the rationale behind the robot's decision or behavior. These approaches, however, fail to consider the mental demand for understanding the received explanation. In other words, the human teammate is expected to understand an explanation no matter how much information is presented. In this work, we argue that explanations, especially those of a complex nature, should be made in an online fashion during the execution, which helps spread out the information to be explained and thus reduce the mental workload of humans in highly cognitive demanding tasks. However, a challenge here is that the different parts of an explanation may be dependent on each other, which must be taken into account when generating online explanations. To this end, a general formulation of online explanation generation is presented with three variations satisfying different "online" properties. The new explanation generation methods are based on a model reconciliation setting introduced in our prior work. We evaluated our methods both with human subjects in a simulated rover domain, using NASA Task Load Index (TLX), and synthetically with ten different problems across two standard IPC domains. Results strongly suggest that our methods generate explanations that are perceived as less cognitively demanding and much preferred over the baselines and are computationally efficient.

研究动机与目标

• 为解决人类在一次性接收复杂机器人解释时面临的高认知负担问题。
• 开发一种在线解释生成框架，将解释信息在时间上分散传递，以降低心理工作量。
• 确保尽管各组件之间存在依赖关系，增量式解释部分仍保持认知上的连贯性。
• 评估在线解释是否能提升人机协作中的人类信任度、任务表现和感知工作负荷。
• 在模拟实验和真人受试者实验中，对比在线方法与基线解释生成技术。

提出的方法

• 本文提出了一种在线解释生成（OEG）的通用形式化方法，将解释分解为在计划执行过程中不同时间点传递的子解释。
• 提出了三种OEG变体：OEG-PP（渐进规划）、OEG-NA（非相邻）和OEG-AP（自适应节奏），每种均满足不同的在线特性。
• 该方法基于模型调和机制，机器人通过调整其解释以匹配人类的心理模型，从而减少认知差异。
• 生成的解释部分在上下文中保持连贯，并尽量减少对人类理解过程的干扰。
• 该方法采用一种将解释生成与执行过程集成的规划模型，确保时间与逻辑上的一致性。
• 评估方法结合了来自IPC领域的合成测试用例以及在模拟火星车任务场景中的人类受试者研究，使用NASA TLX量表评估工作负荷。

实验结果

研究问题

• RQ1 在线解释生成是否能降低人类队友在复杂人机协作任务中的认知工作负荷？
• RQ2 不同在线解释策略（OEG-PP、OEG-NA、OEG-AP）在人类信任度和任务表现方面有何差异？
• RQ3 与整体式解释相比，分步传递解释是否能带来更好的理解效果和更低的感知工作负荷？
• RQ4 人类与机器人之间模型差异在多大程度上影响解释的有效性？在线生成如何缓解这一问题？
• RQ5 当解释与计划执行交错进行时，解释质量和人类表现是否可测量地得到提升？

主要发现

• OEG方法显著减少了人类受试者识别出的可疑动作数量，其中OEG-AP的平均值最低（每项任务4.94个），准确率最高（87.2%）。
• OEG-AP与OEG-NA在性能上无显著统计差异，但所有OEG变体均显著优于MCE与MCE-R基线方法（p < 0.001）。
• NASA TLX结果显示，OEG方法在所有类别中均显著降低了感知工作负荷，主观指标加权和的p值为0.0068。
• MCE-R在客观与主观指标上均劣于MCE（p = 0.043与0.028），证实仅将信息拆分不足以提升效果，还需保持连贯性。
• MCE-R的可疑动作平均数为8.789，而OEG-AP为4.940，表明在线解释增强了人类对系统的信任。
• 研究证实，在线解释生成能同时提升任务表现与感知理解度，其中OEG-AP在实际应用中表现最优。