[论文解读] Understanding Teacher Gaze Patterns for Robot Learning

Akanksha Saran, Elaine Schaertl Short+2 more|arXiv (Cornell University)|Jul 16, 2019

Gaze Tracking and Assistive Technology参考文献 36被引用 8

一句话总结

本文研究了人类教师在机器人模仿学习（LfD）过程中注视模式如何提升机器人学习效果。通过分析在身体教学（kinesthetic teaching, KT）和视频示范中的注视行为，作者发现注视可将子任务分类准确率提升最高达6%，并将逆强化学习中的策略损失降低最高达67.4%，证明注视是意图推理与高效学习的关键信号。

ABSTRACT

Human gaze is known to be a strong indicator of underlying human intentions and goals during manipulation tasks. This work studies gaze patterns of human teachers demonstrating tasks to robots and proposes ways in which such patterns can be used to enhance robot learning. Using both kinesthetic teaching and video demonstrations, we identify novel intention-revealing gaze behaviors during teaching. These prove to be informative in a variety of problems ranging from reference frame inference to segmentation of multi-step tasks. Based on our findings, we propose two proof-of-concept algorithms which show that gaze data can enhance subtask classification for a multi-step task up to 6% and reward inference and policy learning for a single-step task up to 67%. Our findings provide a foundation for a model of natural human gaze in robot learning from demonstration settings and present open problems for utilizing human gaze to enhance robot learning.

研究动机与目标

• 理解人类在机器人模仿学习（LfD）教学过程中注视行为如何揭示意图与任务结构。
• 探究身体教学（KT）与视频示范两种模式下注视模式是否存在差异。
• 确定注视数据是否能在模糊或复杂任务场景中提升机器人学习效果。
• 开发并验证利用注视信息增强子任务分割、参考坐标系推断与奖励学习的算法。
• 确立注视作为计算上有用的信号，以实现高效且可泛化的机器人策略学习。

提出的方法

• 通过眼动追踪开展人类被试实验，收集身体教学与视频示范中操纵任务的注视固定点真实数据。
• 识别出能揭示意图的注视行为，如对任务相关物体的注视，以及在步骤关键帧与非步骤关键帧之间注视模式的差异。
• 提出两种概念验证算法：一种是利用注视信息进行关键帧分割以实现子任务分类；另一种是将注视数据融入贝叶斯逆强化学习（BIRL）以增强模型。
• 将注视固定点作为特征，提升策略学习与奖励推断性能，尤其在模糊示范中表现更优。
• 通过策略损失与放置损失指标，在多种示范条件（1 vs. 5次示范）下评估性能表现。
• 探索基于视觉的注视估计在真实部署中作为眼动仪低成本替代方案的可行性。

实验结果

研究问题

• RQ1 在机器人模仿学习中，身体教学与视频示范的注视模式有何差异？
• RQ2 当动作轨迹模糊时，注视固定点能否揭示意图与目标？
• RQ3 注视在多步操作任务中能将子任务分类性能提升多少？
• RQ4 在逆强化学习中引入注视数据对奖励推断与策略学习有何影响？
• RQ5 基于视觉的注视估计能否有效复制眼动仪在机器人学习中的优势？

主要发现

• 在身体教学与视频示范过程中，人类教师主要注视于任务相关物体，如碗或盘子。
• 步骤关键帧（标记语义子任务）与非步骤关键帧（属于同一动作，如倒液）之间的注视模式存在显著差异，使子任务分类准确率最高提升6%。
• 将注视数据引入贝叶斯逆强化学习（BIRL）后，视频示范的策略损失降低67.4%，身体教学的策略损失降低53.7%，表明注视可显著提升奖励推断能力。
• 视频示范提供的注视信号更丰富且更准确，因此在策略学习中带来更大的性能提升。
• 即使仅有一个模糊的示范，加入注视信息后也能显著提升其信息量，从而大幅改善学习性能。
• 基于视觉的注视估计是捕捉机器人学习中意图相关注视点的可行替代方案，可替代眼动仪。