[论文解读] Reinforcement Learning for Pivoting Task

Rika Antonova, Silvia Cruciani+2 more|arXiv (Cornell University)|Mar 1, 2017

Reinforcement Learning in Robotics参考文献 16被引用 36

一句话总结

本文提出一种使用自定义、不完善的仿真器进行强化学习的方法，以训练机器人翻转任务的鲁棒策略，实现对真实硬件和未见过物体的成功泛化。该方法在配备训练工具的Baxter机器人上实现了93%的成功率，在使用未经训练工具时也达到了83%的成功率，证明了即使存在仿真到现实的差异和参数不确定性，仍具备良好的迁移能力。

ABSTRACT

In this work we propose an approach to learn a robust policy for solving the pivoting task. Recently, several model-free continuous control algorithms were shown to learn successful policies without prior knowledge of the dynamics of the task. However, obtaining successful policies required thousands to millions of training episodes, limiting the applicability of these approaches to real hardware. We developed a training procedure that allows us to use a simple custom simulator to learn policies robust to the mismatch of simulation vs robot. In our experiments, we demonstrate that the policy learned in the simulator is able to pivot the object to the desired target angle on the real robot. We also show generalization to an object with different inertia, shape, mass and friction properties than those used during training. This result is a step towards making model-free reinforcement learning available for solving robotics tasks via pre-training in simulators that offer only an imprecise match to the real-world dynamics.

研究动机与目标

• 开发一种适用于不同物体属性和硬件配置的机器人翻转任务鲁棒强化学习策略。
• 解决在精确动力学建模不可行的连续控制任务中，仿真到现实的迁移挑战。
• 在仿真中实现有效的策略学习，而无需仿真与真实机器人之间的精确参数匹配。
• 证明在简化仿真器中训练的策略能够成功控制真实机器人，并泛化到质量、惯性和摩擦不同的物体。

提出的方法

• 使用翻转任务的近似动力学方程构建了自定义仿真器，引入了摩擦和执行延迟等不确定参数。
• 通过随机采样仿真参数（如摩擦、质量）生成多样化的训练样本，提升策略对真实世界差异的鲁棒性。
• 应用深度强化学习算法（PPO）直接在仿真中学习非线性控制策略。
• 策略基于状态观测（包括物体角度和夹爪状态）输出夹爪加速度和手指距离指令。
• 通过在仿真中进行数据增强，强调鲁棒性，避免对精确动力学模型的依赖。
• 训练后的策略直接部署在Baxter机器人上，无需进一步微调，以测试其对未见过工具的泛化能力。

实验结果

研究问题

• RQ1 在存在仿真到现实差异的情况下，是否能在简化且不完善的仿真器中训练出的策略，成功控制真实机器人完成翻转任务？
• RQ2 在训练中未见过的、物理属性（质量、惯性、摩擦）不同的物体上，该策略的泛化能力如何？
• RQ3 当训练基于动力学近似或不确定的仿真环境时，无模型强化学习是否能在真实硬件上实现鲁棒性能？
• RQ4 在仿真中使用随机参数变化是否能提升策略对现实世界条件的鲁棒性和泛化能力？
• RQ5 单一策略是否无需重新训练即可处理多个目标角度和多样的翻转范围？

主要发现

• 当使用训练时仿真中所用参数的工具时，该策略在Baxter机器人上执行翻转任务的成功率达到93%。
• 当应用于物理属性未知的另一工具时，该策略仍实现了83%的成功率，证明其在训练配置之外具有强大的泛化能力。
• 该策略成功将物体翻转至包括45°、-60°、30°和5°在内的目标角度，表明其在广泛运动需求下具有鲁棒性。
• 即使物体的质量、惯性和摩擦与仿真中的设定不同，策略仍能有效泛化，表明对参数不匹配具有不敏感性。
• 达到目标的平均时间约为5秒（使用训练工具）和10秒（使用未训练工具），表明行为稳定且可预测。
• 系统对跟踪误差和轻微滑动具有鲁棒性，30次试验中仅发生1–2次掉落，且策略可在小偏差后恢复并完成任务。