[论文解读] The EMPATHIC Framework for Task Learning from Implicit Human Feedback

Yuchen Cui, Qiping Zhang+4 more|arXiv (Cornell University)|Sep 28, 2020

Social Robot Interaction and HRI被引用 1

一句话总结

本文提出 EMPATHIC，一种两阶段框架，通过从隐式人类反馈（如面部反应）中学习任务策略，而无需显式的人类指令。通过训练深度神经网络将面部表情映射到奖励和优势等任务统计量，EMPATHIC 实现了实时策略改进，并可零样本迁移至新的操作任务，展示了从自然、无干扰的人类反应中有效学习的能力。

ABSTRACT

Reactions such as gestures, facial expressions, and vocalizations are an abundant, naturally occurring channel of information that humans provide during interactions. A robot or other agent could leverage an understanding of such implicit human feedback to improve its task performance at no cost to the human. This approach contrasts with common agent teaching methods based on demonstrations, critiques, or other guidance that need to be attentively and intentionally provided. In this paper, we first define the general problem of learning from implicit human feedback and then propose to address this problem through a novel data-driven framework, EMPATHIC. This two-stage method consists of (1) mapping implicit human feedback to relevant task statistics such as reward, optimality, and advantage; and (2) using such a mapping to learn a task. We instantiate the first stage and three second-stage evaluations of the learned mapping. To do so, we collect a dataset of human facial reactions while participants observe an agent execute a sub-optimal policy for a prescribed training task. We train a deep neural network on this data and demonstrate its ability to (1) infer relative reward ranking of events in the training task from prerecorded human facial reactions; (2) improve the policy of an agent in the training task using live human facial reactions; and (3) transfer to a novel domain in which it evaluates robot manipulation trajectories.

研究动机与目标

• 解决在任务执行期间，让智能体从隐式人类反馈（如面部表情、手势和声音）中学习的挑战。
• 通过消除对示范或批评等刻意、有意的教学信号的需求，降低人类的认知负担。
• 开发一种数据驱动的框架，将自然的人类反应映射到任务相关的统计量，如奖励、最优性和优势。
• 在实时策略学习中使用实时面部反馈，并在未见的操作任务中进行零样本迁移，以评估该框架。
• 证明隐式反馈可被可靠地用于提升智能体性能，而无需显式的人类标注。

提出的方法

• 收集参与者在观察智能体执行次优策略的训练任务时的面部反应数据集。
• 训练深度神经网络，将面部反应序列映射到任务统计量，包括相对奖励排名、最优性与优势。
• 在两阶段框架中使用训练好的映射：首先，从面部反馈中推断任务统计量；其次，利用这些推断的统计量改进智能体的策略。
• 通过在执行过程中使用实时面部反馈更新智能体策略，实现实时应用。
• 通过评估其基于面部反应推断的奖励对轨迹进行排序的能力，将学习到的映射迁移至新领域——机器人操作。
• 在面部反馈数据集上使用监督学习训练映射网络，损失函数针对任务统计量的排序与回归进行优化。

实验结果

研究问题

• RQ1 隐式人类反馈（如面部表情）能否被可靠地映射到奖励和优势等任务相关统计量？
• RQ2 从面部反馈学习到的映射是否能在任务执行过程中实时提升智能体的策略？
• RQ3 学习到的映射是否能泛化到新的、未见过的任务领域，如机器人操作？
• RQ4 基于面部反馈推断的奖励排序与真实任务表现的相关性如何？
• RQ5 隐式反馈在多大程度上可独立支持有效的策略学习，而无需显式的人类示范或批评？

主要发现

• 深度神经网络能够以高精度从未录制的面部反应中推断出任务事件的相对奖励排名。
• EMPATHEC 框架通过使用实时人类面部反馈实现了实时策略改进，相较于基线策略取得了可测量的性能提升。
• 该框架在新型机器人操作任务中展示了零样本迁移能力，利用面部反馈根据感知质量对轨迹进行排序。
• 从面部表情到任务统计量的映射在不同任务间具有泛化能力，表明所学表征具有鲁棒性和可迁移性。
• 即使反馈稀疏且非显式，该模型在策略学习中仍实现了显著的性能提升，凸显了隐式反馈在人机交互中的潜力。
• 结果表明，隐式反馈可作为交互式学习场景中显式教学信号的可行且有效的替代方案。