[论文解读] ROS2Learn: a reinforcement learning framework for ROS 2

Yue Leire Erro Nuin, Nestor Gonzalez Lopez+5 more|arXiv (Cornell University)|Mar 14, 2019

Modular Robots and Swarm Intelligence参考文献 34被引用 8

一句话总结

ROS2Learn 是一个针对 ROS 2 的深度强化学习框架，支持使用 SOTA 算法（如 PPO、TRPO 和 ACKTR）对模块化机械臂进行端到端训练。它与 Gazebo 和 ROS 2 集成，展示了在四个 MARA 机器人环境中的稳定训练，且 PPO 与 TRPO 性能相当；而 ACKTR 在相同超参数下表现出有限的学习效率。

ABSTRACT

We propose a novel framework for Deep Reinforcement Learning (DRL) in modular robotics to train a robot directly from joint states, using traditional robotic tools. We use an state-of-the-art implementation of the Proximal Policy Optimization, Trust Region Policy Optimization and Actor-Critic Kronecker-Factored Trust Region algorithms to learn policies in four different Modular Articulated Robotic Arm (MARA) environments. We support this process using a framework that communicates with typical tools used in robotics, such as Gazebo and Robot Operating System 2 (ROS 2). We evaluate several algorithms in modular robots with an empirical study in simulation.

研究动机与目标

• 解决传统强化学习流水线在训练模块化机器人时面临的可扩展性与复杂性问题。
• 开发一个统一框架，集成 ROS 2 与 Gazebo，实现在模块化机器人中的端到端深度强化学习。
• 在具有不同任务目标的模拟模块化机械臂上，评估 SOTA 策略梯度算法（PPO、TRPO 和 ACKTR）的性能。
• 实现可迁移的模块化策略学习，使其能够适应机器人系统结构的变化。
• 提高样本效率，减少在模块化机器人训练中对大量奖励塑形或环境重构的依赖。

提出的方法

• 该框架使用 ROS 2 实现实时机器人控制，使用 Gazebo 对模块化铰接机械臂（MARA）进行高保真度仿真。
• 实现了三种深度强化学习算法：近端策略优化（PPO）、信任域策略优化（TRPO）以及使用克罗内克积分解信任域的演员-critic 方法（ACKTR）。
• 每种算法均使用神经网络函数逼近器，基于关节状态执行在线策略更新，直接优化策略。
• 环境通过自定义的 Gym 兼容接口定义，支持四种变体：MARA-v0、MARA-Orient-v0、MARA-Collision-v0 和 MARA-Collision-Orient-v0。
• 每个实验训练一百万步，奖励函数根据任务目标（如抓取、姿态控制和碰撞避免）进行设计。
• 该框架支持与现有机器人工具的无缝集成，实现从仿真到真实硬件的直接策略部署，且仅需极少的重新配置。

实验结果

研究问题

• RQ1 PPO、TRPO 和 ACKTR 是否仅基于关节状态观测，就能在模块化机械臂中实现稳定且高效的学习？
• RQ2 在不同 MARA 环境中，PPO、TRPO 和 ACKTR 在样本效率和最终性能方面的表现有何差异？
• RQ3 该框架在无需从头开始重新训练的情况下，能在多大程度上实现不同机器人构型间的可迁移策略学习？
• RQ4 与标准基准环境相比，ROS 2 与 Gazebo 的集成是否提升了模块化机器人 DRL 训练的逼真度与可扩展性？
• RQ5 该框架是否能够实现从关节状态到电机指令的端到端学习，而无需大量奖励塑形或特定于环境的工具支持？

主要发现

• PPO 与 TRPO 在所有 MARA 环境中达到相当的最终性能，且 TRPO 在非姿态控制任务中展现出更快的初始学习速度。
• 在 MARA-Collision-Orient-v0 环境中，TRPO 在训练后期优于 PPO，表明其在复杂多目标任务中具有更好的适应能力。
• ACKTR 在所有环境中均表现出极小的奖励提升，与 PPO 和 TRPO 相比基本持平，表明其在相同超参数设置下样本效率极低。
• 该框架利用标准的 ROS 2 和 Gazebo 工具链，实现了模块化机器人系统中深度神经网络策略优化的稳定训练。
• 结果证实，PPO 与 TRPO 在高维连续动作空间中，仅使用关节状态输入，对模块化机器人控制是有效的。
• 本研究强调了超参数调优与算法选择的重要性，尽管 ACKTR 在计算效率上具有理论优势，但其性能表现仍不理想。