[论文解读] TASKOGRAPHY: Evaluating robot task planning over large 3D scene graphs

Christopher Agia, Krishna Murthy Jatavallabhula+6 more|arXiv (Cornell University)|Jul 11, 2022

Robotic Path Planning Algorithms参考文献 47被引用 12

一句话总结

本文提出了 Taskography，一个用于评估机器人任务规划在三维场景图（3DSG）上的大规模基准，揭示了无论是经典方法还是基于学习的规划器在完整 3DSG 上均无法实现实时性能。为解决此问题，本文提出了 scrub——一种任务条件化的稀疏化方法，通过降低 3DSG 的复杂度，使经典规划器能够超越最先进的基于学习的方法；以及 seek——一种通过利用 3DSG 层次结构来增强基于学习的规划器的方法，将重规划步骤减少一个数量级。

ABSTRACT

3D scene graphs (3DSGs) are an emerging description; unifying symbolic, topological, and metric scene representations. However, typical 3DSGs contain hundreds of objects and symbols even for small environments; rendering task planning on the full graph impractical. We construct TASKOGRAPHY, the first large-scale robotic task planning benchmark over 3DSGs. While most benchmarking efforts in this area focus on vision-based planning, we systematically study symbolic planning, to decouple planning performance from visual representation learning. We observe that, among existing methods, neither classical nor learning-based planners are capable of real-time planning over full 3DSGs. Enabling real-time planning demands progress on both (a) sparsifying 3DSGs for tractable planning and (b) designing planners that better exploit 3DSG hierarchies. Towards the former goal, we propose SCRUB, a task-conditioned 3DSG sparsification method; enabling classical planners to match and in some cases surpass state-of-the-art learning-based planners. Towards the latter goal, we propose SEEK, a procedure enabling learning-based planners to exploit 3DSG structure, reducing the number of replanning queries required by current best approaches by an order of magnitude. We will open-source all code and baselines to spur further research along the intersections of robot task planning, learning and 3DSGs.

研究动机与目标

• 评估在大规模三维场景图（3DSG）上实现机器人任务规划实时性的可行性，这些图包含丰富的符号、拓扑和度量信息，但以完整形式存在时计算成本过高。
• 识别在完整 3DSG 上规划性能的核心瓶颈，特别是对与任务无关的冗余场景元素进行推理的低效性。
• 通过聚焦于 3DSG 上的符号化规划，将规划性能与视觉表征学习解耦，从而更清晰地评估规划算法的效率。
• 建立一个新基准 Taskography，支持多样且具有挑战性的 3DSG 任务规划领域，以系统化评估未来规划器。
• 提供开源工具，包括 scrub 和 seek，以指导未来在 3DSG 上高效、可扩展且具有层次结构的任务规划研究。

提出的方法

• 提出 scrub，一种与规划器无关、任务条件化的 3DSG 稀疏化方法，可识别并仅保留解决特定规划问题所必需的最小对象集合，确保正确性的同时大幅减少状态空间规模。
• 通过从与任务相关的对象出发，沿 3DSG 父节点进行自顶向下的遍历，确保可达性与结构完整性，保证简化后的图仍足以支持规划。
• 提出 seek，一种通过施加 3DSG 层次结构来增强基于学习的增量规划器的程序，确保所有保留的对象均可从初始状态可达，从而减少冗余重规划。
• 对基于 PLOI 启发的预训练对象评分器应用几何阈值衰减，动态地根据任务相关性修剪并保留对象，同时保留祖先节点的层次结构。
• 采用多层图神经网络评分器进行层次化对象重要性估计，实现在保留结构一致性的前提下选择性地剪枝。
• 设计 Taskography 作为基准，涵盖多样化领域（如重排、快递员任务）的完全可观测、确定性环境，支持接地式与提升式规划。

实验结果

研究问题

• RQ1 在规模和复杂度均较大的完整 3DSG 上，经典规划器与基于学习的规划器能否实现实时性能？
• RQ2 任务条件化的 3DSG 稀疏化在不牺牲解质量的前提下，能在多大程度上提升规划效率？
• RQ3 基于学习的规划器在多大程度上能有效利用 3DSG 的层次结构来减少重规划迭代次数？
• RQ4 当在稀疏化后的 3DSG 上进行规划时，经典规划器与基于学习的规划器之间是否存在系统性的性能差距？
• RQ5 通过 seek 集成结构先验，是否能显著降低增量式基于学习规划的计算开销？

主要发现

• 当使用 scrub 稀疏化方法预处理 3DSG 后，经典规划器在 Taskography 基准上的表现优于最先进的基于学习的规划器。
• scrub 方法将 3DSG 中的对象数量减少到最小必要集合，使经典规划器能够在原本不可行的完整 3DSG 上实现实时求解。
• 与基线方法相比，seek 程序将重规划查询次数减少了整整一个数量级——从 150–235 步减少至 7–53 步，适用于多种基于学习的规划器。
• 即使在采用朴素的随机剪枝基线时，集成 seek 也能将重规划步数从平均 235 步减少至 167 步，证明了其鲁棒性与有效性。
• scrub 与 seek 的结合使经典规划器与基于学习的规划器均能实现实时性能，其中 scrub 在接地式领域表现更优，而 seek 在提升式领域表现更佳，归因于其对层次化对象的保留机制。
• Taskography 基准，连同开源代码与基线实现，为评估和推进机器人在 3DSG 上的任务规划提供了标准化平台。