[论文解读] Order Matters: Generating Progressive Explanations for Planning Tasks in Human-Robot Teaming

Mehrdad Zakershahrak, Shashank Rao Marpally+3 more|arXiv (Cornell University)|Apr 16, 2020

AI-based Problem Solving and Planning参考文献 32被引用 4

一句话总结

本文提出了一种用于人机协作的渐进式解释生成（PEG）框架，该框架通过基于目标的马尔可夫决策过程（MDP）与逆强化学习（IRL）建模人类在解释中对信息顺序的认知偏好。该方法从人类偏好数据中学习奖励函数，表明渐进式解释——按认知吸收顺序排列——可降低认知负荷，并在任务表现上提升10.9%的准确率和18.5%的感知努力度（NASA TLX）。

ABSTRACT

Prior work on generating explanations in a planning and decision-making context has focused on providing the rationale behind an AI agent's decision making. While these methods provide the right explanations from the explainer's perspective, they fail to heed the cognitive requirement of understanding an explanation from the explainee's (the human's) perspective. In this work, we set out to address this issue by first considering the influence of information order in an explanation, or the progressiveness of explanations. Intuitively, progression builds later concepts on previous ones and is known to contribute to better learning. In this work, we aim to investigate similar effects during explanation generation when an explanation is broken into multiple parts that are communicated sequentially. The challenge here lies in modeling the humans' preferences for information order in receiving such explanations to assist understanding. Given this sequential process, a formulation based on goal-based MDP for generating progressive explanations is presented. The reward function of this MDP is learned via inverse reinforcement learning based on explanations that are retrieved via human subject studies. We first evaluated our approach on a scavenger-hunt domain to demonstrate its effectively in capturing the humans' preferences. Upon analyzing the results, it revealed something more fundamental: the preferences arise strongly from both domain dependent and independence features. The correlation with domain independent features pushed us to verify this result further in an escape room domain. Results confirmed our hypothesis that the process of understanding an explanation was a dynamic process. The human preference that reflected this aspect corresponded exactly to the progression for knowledge assimilation hidden deeper in our cognitive process.

研究动机与目标

• 解决现有解释生成研究多聚焦于解释者视角，而忽视被解释者认知负荷与理解过程的问题。
• 建模人类对顺序解释中信息顺序的偏好，认识到信息推进可增强理解。
• 开发一种可泛化的框架，学习如何排序解释步骤以最小化认知努力并最大化任务表现。
• 验证领域无关特征（如动作距离、Levenshtein距离）与领域相关特征（如异常情况的空间位置）共同塑造人类对解释顺序偏好的作用。
• 证明渐进式解释——按认知吸收顺序排列——相比非渐进基线，可显著提升客观任务准确率与主观认知负荷指标。

提出的方法

• 将渐进式解释生成建模为基于目标的马尔可夫决策过程（MDP），其中每个状态代表一个部分解释，动作代表添加下一个解释步骤。
• 采用逆强化学习（IRL）从通过MTurk平台进行的众包研究收集的人类偏好数据中学习奖励函数。
• 结合领域无关特征（如动作距离、Levenshtein距离）与领域相关特征（如x_min、y_min、x_max、y_max）表示解释转换的认知成本。
• 在寻宝任务领域使用21个由人类标注的解释序列进行奖励函数训练，并在87名受试者参与的密室逃脱领域进行测试。
• 应用学习到的奖励函数生成渐进式解释，以最小化感知认知努力并最大化任务表现。
• 通过主观（NASA TLX）与客观（任务准确率）指标在两个不同领域中验证该方法。

实验结果

研究问题

• RQ1 人类是否对渐进式解释中的信息顺序表现出可测量的偏好，且这些偏好是否可被学习？
• RQ2 领域无关特征（如动作距离、Levenshtein距离）与领域相关特征（如异常情况的空间位置）在多大程度上影响人类对解释顺序的偏好？
• RQ3 生成渐进式解释——按认知吸收顺序排列——是否相比非渐进基线，能提升任务表现并降低认知负荷？
• RQ4 理解解释的认知过程是否具有动态性，这种动态性是否反映在通过IRL学习到的特征权重中？
• RQ5 所提出的框架是否能在不同领域（如寻宝任务与密室逃脱）之间泛化，同时保持解释质量的一致性提升？

主要发现

• 所提出的PEG方法在所有NASA TLX指标上显著优于随机、曼哈顿距离及基线方法，加权TLX得分具有统计学显著性提升（p < 0.05）。
• 在密室逃脱领域，任务准确率从85.4%（随机）提升至96.3%（PEG），提升10.9个百分点。
• Levenshtein距离与动作距离特征获得最高归一化权重（分别为0.46与0.44），表明其对认知努力感知具有强烈影响。
• 计划成本距离特征权重较低（0.04），表明在密室逃脱领域中，计划成本增加与认知努力提升无显著相关性。
• PEG生成的解释序列在各步骤间表现出更平滑的动作距离曲线，视觉上证实了解释流程的渐进性。
• 结果证实，人类对解释顺序的偏好由领域无关与领域相关特征共同塑造，验证了认知吸收过程的动态性。