[论文解读] Nonverbal Robot Feedback for Human Teachers

Sandy H. Huang, Isabella Huang+2 more|arXiv (Cornell University)|Nov 6, 2019

Social Robot Interaction and HRI参考文献 15被引用 7

一句话总结

本文提出，机器人在模仿学习过程中可使用非语言反馈——具体为注视预测的下一个动作——来向人类教师传达其当前的理解状态。在虚拟环境和真实世界中对 PR2 机器人的两项研究均表明，这种反馈提升了教师对机器人的心理模型认知，促使其采用更有效的教学策略（如增加使用信息量更高的示例），并提高了机器人学习的准确性，尤其当教师正确理解该注视为预测性反馈时效果更显著。

ABSTRACT

Robots can learn preferences from human demonstrations, but their success depends on how informative these demonstrations are. Being informative is unfortunately very challenging, because during teaching, people typically get no transparency into what the robot already knows or has learned so far. In contrast, human students naturally provide a wealth of nonverbal feedback that reveals their level of understanding and engagement. In this work, we study how a robot can similarly provide feedback that is minimally disruptive, yet gives human teachers a better mental model of the robot learner, and thus enables them to teach more effectively. Our idea is that at any point, the robot can indicate what it thinks the correct next action is, shedding light on its current estimate of the human's preferences. We analyze how useful this feedback is, both in theory and with two user studies---one with a virtual character that tests the feedback itself, and one with a PR2 robot that uses gaze as the feedback mechanism. We find that feedback can be useful for improving both the quality of teaching and teachers' understanding of the robot's capability.

研究动机与目标

• 为解决因机器人当前知识状态透明度不足，导致人类教学在机器人模仿学习中效果不佳的问题。
• 探索实时、非语言的机器人反馈是否可通过向教师揭示机器人对偏好当前假设的洞察，从而提升教学品质。
• 检验预测性反馈（即指示机器人对教师下一步动作的信念）是否能改善教师的心理模型与教学有效性。
• 评估注视作为最小化、非干扰性反馈模态在真实人机交互中的可解释性与实际影响。

提出的方法

• 机器人利用其当前策略估计，预测人类教师在教学过程中可能执行的下一个动作。
• 通过非语言线索（具体为注视方向指向预测动作的位置）传达该预测，以表明其当前信念。
• 该系统在两项研究中进行了评估：一项使用 AMT 上的虚拟学习者，另一项使用真实世界中的 PR2 机器人完成物理场景的整理任务。
• 在两项研究中，参与者均在有反馈与无反馈两种条件下，向机器人教授一项分类任务，以比较教学质量和心理模型准确性。
• 反馈通过机器人注视其认为教师下一步将使用的容器位置实现，同时通过不同头部运动速度传达置信度。
• 收集的数据包括教学序列长度、示例分布（内圈与外圈物体）、学习者准确率，以及主观心理模型差异度。

实验结果

研究问题

• RQ1 非语言机器人反馈若能预测教师的下一步动作，是否可提升教师对机器人当前知识状态的理解？
• RQ2 此类反馈是否会导致更有效的教学策略，如选择更具信息量的示例？
• RQ3 机器人的反馈如何影响最终学习策略的准确性？
• RQ4 人类是否能自然地将注视理解为动作预测的反馈机制，即使未接受明确说明？
• RQ5 反馈的有效性是否取决于用户是否正确理解其用途？

主要发现

• 在 AMT 研究中，反馈显著提高了外圈物体示例的比例（p < 0.0005），表明教学更具信息量。
• 在面对面研究中，正确理解注视为预测性反馈的参与者（G1组）心理模型差异度显著降低（p = 0.0035），支持其对机器人理解的提升。
• 对于 G1 组参与者，反馈显著提高了外圈示例的比例（p < 0.02），并提升了机器人学习的准确性（p = 0.01）。
• 误解注视含义的参与者（G2组）未表现出反馈的显著影响，凸显正确理解的重要性。
• 在两项研究中，反馈对教学序列长度均无显著影响，表明反馈未干扰教学流程。
• 尽管实现简单，53% 的 PR2 研究参与者自然地将注视解释为预测性反馈，表明其具有直观可解释性。