[论文解读] Regression Planning Networks

Danfei Xu, Roberto Martín-Martín+4 more|arXiv (Cornell University)|Sep 28, 2019

Human Pose and Action Recognition被引用 9

一句话总结

本文提出回归规划网络（RPN），一种神经网络架构，能够从符号化任务目标反向规划，基于高维视觉观测生成一系列中间符号化目标。通过结合反向符号规划与从视觉输入端到端学习，RPN在长时序任务中实现近最优性能，并在网格世界和3D厨房环境中对未见过的任务组合实现零样本泛化。

ABSTRACT

Recent learning-to-plan methods have shown promising results on planning directly from observation space. Yet, their ability to plan for long-horizon tasks is limited by the accuracy of the prediction model. On the other hand, classical symbolic planners show remarkable capabilities in solving long-horizon tasks, but they require predefined symbolic rules and symbolic states, restricting their real-world applicability. In this work, we combine the benefits of these two paradigms and propose a learning-to-plan method that can directly generate a long-term symbolic plan conditioned on high-dimensional observations. We borrow the idea of regression (backward) planning from classical planning literature and introduce Regression Planning Networks (RPN), a neural network architecture that plans backward starting at a task goal and generates a sequence of intermediate goals that reaches the current observation. We show that our model not only inherits many favorable traits from symbolic planning, e.g., the ability to solve previously unseen tasks but also can learn from visual inputs in an end-to-end manner. We evaluate the capabilities of RPN in a grid world environment and a simulated 3D kitchen environment featuring complex visual scenes and long task horizons, and show that it achieves near-optimal performance in completely new task instances.

研究动机与目标

• 解决由于动力学预测误差累积，导致的基于学习的前向规划模型在长时序任务中的性能局限。
• 克服经典符号规划器在现实世界应用中的差距，后者需要预定义的符号状态和动作模型。
• 实现从高维观测中端到端学习长时序规划，结合符号推理。
• 在训练期间未见过的新任务组合（如更多餐具和食材）上实现零样本泛化。
• 通过依赖建模实现组合式规划，将复杂目标分解为可执行的子目标。

提出的方法

• 提出回归规划网络（RPN），一种神经架构，从最终符号目标反向规划至当前观测。
• 使用先决条件网络迭代地反向预测中间符号目标，条件依赖于当前视觉观测。
• 引入依赖网络以建模符号子目标之间的组合关系，实现复杂任务的分层分解。
• 使用包含观测-目标轨迹和最终任务目标的演示数据，端到端训练模型。
• 将规划器条件化于当前观测，直接预测从目标到当前状态的单一路径，避免在大规模状态空间中进行搜索。
• 集成低层控制器（如基于RRT的规划器），根据符号化计划在环境中执行子目标。

实验结果

研究问题

• RQ1 基于学习的规划器是否能在长时序任务中实现近最优性能，同时泛化至未见过的任务组合？
• RQ2 基于视觉观测的反向符号规划是否在泛化性和准确性方面优于前向规划？
• RQ3 神经网络是否能有效学习将复杂符号目标分解为可执行子目标，利用组合依赖关系？
• RQ4 该模型在训练期间未见过的更多食材或餐具的任务上泛化能力如何？
• RQ5 各架构组件（先决条件网络、依赖网络）对整体规划性能的贡献如何？

主要发现

• RPN 在训练任务（I=3, D=2）上达到 98.5% 的成功率，并在评估任务（I=2, D=1，食材更少）上保持 98.6% 的成功率，展现出强大的零样本泛化能力。
• 在更复杂的评估任务中，最多包含 6 种食材和 3 个餐具，RPN 维持高性能（成功率 95.3% 至 98.4%），优于所有基线模型。
• E2E 基线在 I=6, D=3 任务上表现极差（成功率 0.0%），凸显了缺乏符号抽象的端到端规划的局限性。
• 仅 RP（仅回归规划）在未见任务上性能显著下降（如 I=4, D=3 时为 27.9%），表明纯回归规划缺乏组合建模时的泛化能力。
• 仅 SS（仅子目标分解）在评估任务上优于仅 RP，但仍逊于 RPN，证实了视觉条件化联合学习的必要性。
• 可视化结果表明，RPN 能够为水果和蔬菜正确规划不同的烹饪流程（如使用平底锅 vs. 锅，启动炉灶），展示了对任务特定约束的正确处理。