[论文解读] Sub-Goal Trees -- a Framework for Goal-Based Reinforcement Learning

Tom Jurgenson, Or Avner+2 more|arXiv (Cornell University)|Feb 27, 2020

Reinforcement Learning in Robotics参考文献 51被引用 8

一句话总结

本文提出子目标树（Sub-Goal Trees, SGT），一种基于目标的强化学习新框架，通过递归预测中间子目标来结构化轨迹，实现高效的多目标规划。通过从全对最短路径问题推导出动态规划公式，SGT在连续控制任务中实现了更优的样本效率和鲁棒性，在7自由度机械臂的神经运动规划中相比标准强化学习与顺序子目标方法展现出显著性能提升。

ABSTRACT

Many AI problems, in robotics and other domains, are goal-based, essentially seeking trajectories leading to various goal states. Reinforcement learning (RL), building on Bellman's optimality equation, naturally optimizes for a single goal, yet can be made multi-goal by augmenting the state with the goal. Instead, we propose a new RL framework, derived from a dynamic programming equation for the all pairs shortest path (APSP) problem, which naturally solves multi-goal queries. We show that this approach has computational benefits for both standard and approximate dynamic programming. Interestingly, our formulation prescribes a novel protocol for computing a trajectory: instead of predicting the next state given its predecessor, as in standard RL, a goal-conditioned trajectory is constructed by first predicting an intermediate state between start and goal, partitioning the trajectory into two. Then, recursively, predicting intermediate points on each sub-segment, until a complete trajectory is obtained. We call this trajectory structure a sub-goal tree. Building on it, we additionally extend the policy gradient methodology to recursively predict sub-goals, resulting in novel goal-based algorithms. Finally, we apply our method to neural motion planning, where we demonstrate significant improvements compared to standard RL on navigating a 7-DoF robot arm between obstacles.

研究动机与目标

• 解决标准强化学习在多目标轨迹优化中的局限性，特别是在高维与连续状态空间中的表现。
• 开发一种自然支持多个目标的框架，无需依赖目标增强的状态空间或重复的单目标优化。
• 通过递归子目标分解结构化轨迹，降低对近似误差和策略漂移的敏感性。
• 利用新型轨迹表示，实现分层目标条件策略的稳定且可扩展的策略梯度训练。
• 在复杂运动规划任务中提升性能，例如在障碍物间导航7自由度机械臂。

提出的方法

• 基于全对最短路径（APSP）问题提出动态规划公式，替代标准贝尔曼最优方程，用于多目标规划。
• 提出子目标树（SGT），一种分层轨迹结构，通过中间子目标预测将从起点到目标的轨迹递归划分为子段。
• 开发一种策略梯度框架（SGT-PG），使用具有多变量高斯输出的神经网络，在树的每一层学习预测子目标。
• 采用递归基线估计方法，通过低深度策略的预测平均值来稳定训练，无需额外的价值函数。
• 应用信赖域与熵正则化（类似PPO）以提升训练稳定性和样本效率。
• 采用与距离相关的可学习缩放因子调节子目标方差，防止分布过窄并提升探索能力。

实验结果

研究问题

• RQ1 分层的、分而治之的轨迹构建方法是否能提升多目标强化学习中的样本效率与鲁棒性？
• RQ2 与顺序或目标增强型强化学习相比，递归子目标预测是否能降低对近似误差和策略漂移的敏感性？
• RQ3 子目标树结构是否能通过策略梯度方法与稳定的基线估计实现有效训练？
• RQ4 SGT-PG在复杂运动规划场景下的性能与标准顺序子目标方法（SeqSG）相比如何？
• RQ5 SGT的递归结构在连续控制任务中在多大程度上实现了更好的泛化能力与可扩展性？

主要发现

• 在包含7个子目标的杆子场景中，SGT-PG的成功率为0.696 ± 0.116，显著优于SeqSG的0.49 ± 0.02。
• 即使仅使用一个子目标，SGT-PG的成功率仍达0.646 ± 0.053，超过SeqSG的0.616 ± 0.013，表明SGT结构具有内在优势。
• SGT-PG展现出更优的训练稳定性，且所需超参数调优更少；相比之下，SeqSG需采用激进的梯度裁剪与更小的信赖区域。
• 该方法将轨迹构建从标准强化学习中的8个顺序步骤减少至仅3步，通过并行子目标预测提升了计算效率。
• 无需独立价值函数的递归基线估计方法，相比在SeqSG中使用学习价值函数的训练，实现了更稳定的训练过程。
• 采用与距离相关的方差缩放因子，提升了子目标的多样性，并防止了策略分布中的模式崩溃。