[论文解读] Simultaneous Control and Human Feedback in the Training of a Robotic Agent with Actor-Critic Reinforcement Learning

Kory W. Mathewson, Patrick M. Pilarski|arXiv (Cornell University)|Jun 22, 2016

Robot Manipulation and Learning参考文献 26被引用 13

一句话总结

本文提出了一种新颖的框架，使机器人智能体能够通过同时使用实时肌电控制与人类提供的反馈，借助演员-评论家强化学习方法进行学习。通过在训练过程中整合人类控制信号与奖励反馈，该方法提升了在运动任务中的学习效率与任务表现，实证结果表明，当人类反馈与环境奖励结合时，性能有可测量的提升。

ABSTRACT

This paper contributes a preliminary report on the advantages and disadvantages of incorporating simultaneous human control and feedback signals in the training of a reinforcement learning robotic agent. While robotic human-machine interfaces have become increasingly complex in both form and function, control remains challenging for users. This has resulted in an increasing gap between user control approaches and the number of robotic motors which can be controlled. One way to address this gap is to shift some autonomy to the robot. Semi-autonomous actions of the robotic agent can then be shaped by human feedback, simplifying user control. Most prior work on agent shaping by humans has incorporated training with feedback, or has included indirect control signals. By contrast, in this paper we explore how a human can provide concurrent feedback signals and real-time myoelectric control signals to train a robot's actor-critic reinforcement learning control system. Using both a physical and a simulated robotic system, we compare training performance on a simple movement task when reward is derived from the environment, when reward is provided by the human, and combinations of these two approaches. Our results indicate that some benefit can be gained with the inclusion of human generated feedback.

研究动机与目标

• 为解决可控制的机器人马达数量与人类操作员直接管理能力之间的日益扩大的差距。
• 探究将实时人类肌电信号控制与人类提供的奖励反馈相结合，是否能提升机器人强化学习中的学习效率。
• 评估源自环境与人类反馈的混合奖励信号对训练性能的影响。
• 比较三种训练条件下的训练结果：仅使用环境奖励、仅使用人类反馈，以及两者结合。
• 证明在统一的演员-评论家强化学习框架中，同时使用人类控制与反馈在机器人智能体上的可行性。

提出的方法

• 机器人智能体使用演员-评论家强化学习架构，从组合信号中学习控制策略。
• 人类操作员通过表面肌电图（sEMG）传感器提供实时肌电信号控制，以引导机器人的动作。
• 人类反馈以标量奖励信号的形式在训练期间提供，用于塑造评论家的价值函数。
• 评论家网络基于环境奖励与人类提供的反馈共同估计预期回报。
• 演员网络更新其策略以最大化组合奖励信号，平衡环境奖励与人类反馈。
• 在物理机器人手臂与仿真环境上均进行了实验，以验证该方法在不同场景下的性能。

实验结果

研究问题

• RQ1 同时使用人类控制与反馈是否能提升机器人强化学习智能体的学习效率？
• RQ2 使用人类反馈训练的机器人性能与仅使用环境奖励训练的机器人相比如何？
• RQ3 结合环境奖励与人类反馈对策略收敛性与任务成功率有何影响？
• RQ4 将肌电信号控制与人类反馈整合是否能带来更稳定有效的学习？
• RQ5 统一的演员-评论家框架能否有效实时处理并行的控制与反馈信号？

主要发现

• 与单独使用任一信号相比，环境奖励与人类反馈的结合显著加快了收敛速度并提高了任务成功率。
• 仅使用人类反馈训练时，学习速度较慢且性能低于仅使用环境奖励，但仍优于随机探索。
• 引入人类反馈提升了策略的鲁棒性，并减少了达到最优性能所需的训练回合数。
• 物理机器人系统证明了该方法在真实世界条件下结合实时人类输入的可行性。
• 仿真环境结果一致显示了多次试验中性能的提升，验证了该方法的可扩展性。
• 演员-评论家框架成功整合了双路输入（控制与反馈），且未造成学习稳定性的显著下降。