[论文解读] PBCS : Efficient Exploration and Exploitation Using a Synergy between Reinforcement Learning and Motion Planning

Guillaume Matheron, Nicolas Perrin+1 more|arXiv (Cornell University)|Apr 24, 2020

Reinforcement Learning in Robotics参考文献 45被引用 15

一句话总结

PBCS 是一种新颖的强化学习算法，通过 Backplay 和技能链机制，将运动规划与课程学习相结合，以解决连续控制中的困难探索问题。首先利用运动规划找到一条轨迹，然后采用基于 DDPG 和技能链的确定性 Backplay 变体进行训练，PBCS 在 2D 迷宫环境中优于 DDPG 和 TD3，成功解决了最大达 15×15 单元格的迷宫，而标准强化学习在此类任务中会失败。

ABSTRACT

The exploration-exploitation trade-off is at the heart of reinforcement learning (RL). However, most continuous control benchmarks used in recent RL research only require local exploration. This led to the development of algorithms that have basic exploration capabilities, and behave poorly in benchmarks that require more versatile exploration. For instance, as demonstrated in our empirical study, state-of-the-art RL algorithms such as DDPG and TD3 are unable to steer a point mass in even small 2D mazes. In this paper, we propose a new algorithm called "Plan, Backplay, Chain Skills" (PBCS) that combines motion planning and reinforcement learning to solve hard exploration environments. In a first phase, a motion planning algorithm is used to find a single good trajectory, then an RL algorithm is trained using a curriculum derived from the trajectory, by combining a variant of the Backplay algorithm and skill chaining. We show that this method outperforms state-of-the-art RL algorithms in 2D maze environments of various sizes, and is able to improve on the trajectory obtained by the motion planning phase.

研究动机与目标

• 解决连续控制环境中稀疏奖励、高维探索的挑战。
• 克服标准强化学习算法（如 DDPG 和 TD3）在需要非局部探索的迷宫中失败的局限性。
• 开发一种混合方法，利用运动规划进行初始轨迹发现，利用强化学习进行策略鲁棒化。
• 引入一种技能链机制，以提升长时程探索任务中的训练稳定性和成功率。
• 通过集成确定性 Backplay 和奖励塑形，将 Go-Explore 框架扩展至连续控制领域。

提出的方法

• 首先使用运动规划算法（例如 RRT）在 2D 迷宫中从起点到目标找到一条可行轨迹 τ。
• 应用确定性 Backplay 变体，从 τ 的终点开始，沿轨迹逐步向后推进，生成课程化训练片段。
• 基于到目标的 L2 距离，使用基于潜在函数 Φ(s) = 1/d(s, Ai) 的塑形奖励训练 DDPG，以引导探索。
• 通过保存每个阶段的成功策略并递归训练剩余段落的机制实现技能链，当 Backplay 失败时启用。
• 训练过程在源状态 τK 的 ε-邻域 Bϵ(τK) 内进行，以实现鲁棒初始化，并在性能在 β 个回合中达到 100% 时停止。
• 奖励塑形将稀疏环境奖励替换为基于与目标接近程度的密集代理奖励，提升样本效率。

实验结果

研究问题

• RQ1 结合运动规划与强化学习的混合方法是否能解决标准强化学习算法在连续控制中失败的困难探索问题？
• RQ2 与使用 PPO 的随机 Backplay 相比，基于 DDPG 的确定性 Backplay 在连续迷宫中的稳定性与成功率如何？
• RQ3 技能链在多大程度上提升了长时程探索任务中的训练稳定性和成功率？
• RQ4 基于距离潜在函数的奖励塑形是否能提升稀疏奖励环境中的样本效率与收敛性？
• RQ5 运动规划、Backplay 与技能链的结合是否能实现对更大、更复杂迷宫的泛化能力？

主要发现

• 标准 DDPG 和 TD3 算法无法解决超过 2×2 的迷宫，表明其在稀疏奖励设置下探索能力差。
• 不使用技能链的 PBCS 无法解决超过 2×2 的迷宫，原因在于长时间训练中 DDPG 的不稳定性。
• 完整 PBCS 算法结合技能链后，成功解决了 7×7 和 15×15 迷宫，在 15×15 迷宫中通过组合多个中间技能实现 100% 成功率。
• 使用技能链的 PBCS 所需的环境交互步数显著少于基线 DDPG，在 15×15 迷宫中仅需 37.2 万步，而标准 DDPG 需要 500 万步。
• 使用基于潜在函数的奖励塑形显著提升了训练收敛性，并在起始状态靠近障碍物时也能实现可靠的策略学习。
• 该方法对初始状态分布具有鲁棒性，因为训练从 Bϵ(τK) 缓冲区而非精确状态 τK 初始化。