[论文解读] Shaping Rewards for Reinforcement Learning with Imperfect Demonstrations using Generative Models

Yuchen Wu, Melissa Mozifian+1 more|arXiv (Cornell University)|Nov 2, 2020

Reinforcement Learning in Robotics参考文献 41被引用 6

一句话总结

本文提出了一种强化学习中的奖励塑形方法，利用生成模型（特别是归一化流和生成对抗网络）从不完美的示范中学习与状态和动作相关的势函数。与以往将示范视为硬性约束的方法不同，该方法将示范视为无偏建议，即使在次优或噪声示范下也能实现更快、更高效的数据学习，已在仿真环境和真实Franka Emika Panda机械臂上得到验证。

ABSTRACT

The potential benefits of model-free reinforcement learning to real robotics systems are limited by its uninformed exploration that leads to slow convergence, lack of data-efficiency, and unnecessary interactions with the environment. To address these drawbacks we propose a method that combines reinforcement and imitation learning by shaping the reward function with a state-and-action-dependent potential that is trained from demonstration data, using a generative model. We show that this accelerates policy learning by specifying high-value areas of the state and action space that are worth exploring first. Unlike the majority of existing methods that assume optimal demonstrations and incorporate the demonstration data as hard constraints on policy optimization, we instead incorporate demonstration data as advice in the form of a reward shaping potential trained as a generative model of states and actions. In particular, we examine both normalizing flows and Generative Adversarial Networks to represent these potentials. We show that, unlike many existing approaches that incorporate demonstrations as hard constraints, our approach is unbiased even in the case of suboptimal and noisy demonstrations. We present an extensive range of simulations, as well as experiments on the Franka Emika 7DOF arm, to demonstrate the practicality of our method.

研究动机与目标

• 解决模型无关强化学习在真实机器人系统中效率低下和收敛缓慢的问题。
• 克服现有方法假设示范最优并强制施加政策优化硬性约束的局限性。
• 实现在次优、噪声或多模态示范下无偏见的鲁棒策略学习。
• 开发一种将示范视为建议而非约束的奖励塑形框架。
• 在真实7自由度机械臂上实现peg插入任务的实用化部署。

提出的方法

• 该方法采用两阶段策略：在离线阶段使用生成模型（归一化流或GAN）对示范数据进行训练，以学习状态与动作的势函数Φ(s,a)。
• 学习到的势函数用于塑形稀疏的任务奖励，生成密集且信息丰富的奖励信号，以引导探索。
• 奖励塑形势函数被训练以建模示范中状态与动作的联合分布，而无需假设其最优性。
• 在线强化学习阶段使用TD3算法配合塑形后的奖励，其中势函数将策略偏向于状态-动作空间中的高价值区域。
• 该方法通过不直接强制执行示范动作，避免了对策略的硬性约束，从而保留了寻找最优解的能力。
• 该方法通过建模示范行为的完整密度，优雅地处理多模态动作分布。

实验结果

研究问题

• RQ1 生成模型能否有效利用不完美示范在强化学习中实现奖励塑形？
• RQ2 在存在次优示范的情况下，基于学习势函数的奖励塑形是否优于行为克隆或约束式模仿学习？
• RQ3 该方法能否在高维机器人控制任务中提升数据效率和收敛速度？
• RQ4 与现有方法相比，该方法在面对噪声或多模态示范时的鲁棒性如何？
• RQ5 该方法能否在具有稀疏奖励的真实机器人系统上成功部署？

主要发现

• 该方法在真实Franka Emika Panda机械臂上仅用约200个episode即成功完成peg插入任务，显著优于标准TD3方法。
• 在所提出的塑形奖励下，机器人在仅20步内即收集到密集的累积奖励，表明其具备高效的早期探索与目标发现能力。
• 与λ加权TD3+BC相比，该方法对强化学习与模仿目标权重的超参数调优不敏感。
• 即使使用最优示范，GAIL也未能解决peg插入任务，凸显了标准模仿学习在稀疏奖励设置下的局限性。
• 该方法成功学习到一种策略，可避免示范中包含的次优行为，保持对真实最优解的无偏优化。
• 该方法对次优和噪声示范表现出强鲁棒性，无需遗忘调度或手动调优示范影响的超参数。