[论文解读] Reward Engineering for Object Pick and Place Training

Raghav Nagpal, Achyuthan Unni Krishnan+1 more|arXiv (Cornell University)|Jan 11, 2020

Reinforcement Learning in Robotics参考文献 20被引用 7

一句话总结

本文提出了一种奖励工程技术，用于加速使用 OpenAI Gym 环境的机器人抓取与放置任务的强化学习。通过按 x、y 和 z 轴加权基于距离的奖励，并结合后续经验回放（Hindsight Experience Replay, HER），作者将学习时间相比 OpenAI 的基线减少了近 50%，同时支持用户指定的轨迹偏好，例如曼哈顿路径。

ABSTRACT

Robotic grasping is a crucial area of research as it can result in the acceleration of the automation of several Industries utilizing robots ranging from manufacturing to healthcare. Reinforcement learning is the field of study where an agent learns a policy to execute an action by exploring and exploiting rewards from an environment. Reinforcement learning can thus be used by the agent to learn how to execute a certain task, in our case grasping an object. We have used the Pick and Place environment provided by OpenAI's Gym to engineer rewards. Hindsight Experience Replay (HER) has shown promising results with problems having a sparse reward. In the default configuration of the OpenAI baseline and environment the reward function is calculated using the distance between the target location and the robot end-effector. By weighting the cost based on the distance of the end-effector from the goal in the x,y and z-axes we were able to almost halve the learning time compared to the baselines provided by OpenAI, an intuitive strategy that further reduced learning time. In this project, we were also able to introduce certain user desired trajectories in the learnt policies (city-block / Manhattan trajectories). This helps us understand that by engineering the rewards we can tune the agent to learn policies in a certain way even if it might not be the most optimal but is the desired manner.

研究动机与目标

• 通过奖励工程提高机器人抓取与放置强化学习中的样本效率。
• 解决机器人操作任务中稀疏奖励的挑战。
• 与 OpenAI 的默认基线策略相比，减少学习时间。
• 通过奖励塑造实现用户期望轨迹（如城市街区路径，即曼哈顿路径）的学习。
• 证明奖励工程可引导智能体实现非最优但期望的行为。

提出的方法

• 使用 OpenAI Gym 的抓取与放置环境作为训练的基准环境。
• 设计了一种基于距离的奖励函数，按目标位置在 x、y 和 z 轴上的偏差进行加权。
• 应用后续经验回放（Hindsight Experience Replay, HER）以提升稀疏奖励环境下的样本效率。
• 将用户指定的轨迹偏好（如曼哈顿路径）整合到奖励函数中，以引导策略学习。
• 使用工程化奖励函数，通过近端策略优化（Proximal Policy Optimization, PPO）训练策略。
• 通过对比学习曲线和样本效率，评估与 OpenAI 默认基线的性能差异。

实验结果

研究问题

• RQ1 基于轴加权距离的奖励塑造是否能减少机器人抓取与放置任务的学习时间？
• RQ2 在稀疏奖励环境中，后续经验回放（HER）与工程化奖励如何相互作用？
• RQ3 奖励工程在多大程度上可引导智能体学习非最优但期望的轨迹（如曼哈顿路径）？
• RQ4 将轴加权奖励与 HER 结合，是否比标准基线实现更快的收敛速度？
• RQ5 在连续控制任务中，是否能通过奖励工程有效编码用户定义的行为偏好？

主要发现

• 所提出的奖励工程使学习时间相比 OpenAI 的默认基线减少了近 50%。
• 轴加权距离奖励显著提升了稀疏奖励抓取与放置任务中的样本效率。
• 后续经验回放（HER）有效补充了工程化奖励函数，提升了学习的稳定性和速度。
• 该方法成功引导智能体学习到符合用户指定轨迹（如城市街区路径）的策略，即使这些路径并非最优。
• 加权距离奖励与 HER 的结合在收敛速度和任务成功率方面优于标准训练配置。