[论文解读] The ThreeDWorld Transport Challenge: A Visually Guided Task-and-Motion Planning Benchmark for Physically Realistic Embodied AI

Chuang Gan, Siyuan Zhou+9 more|arXiv (Cornell University)|Mar 25, 2021

Reinforcement Learning in Robotics参考文献 47被引用 12

一句话总结

本文介绍了ThreeDWorld运输挑战赛，这是一个在照片级和物理上逼真的3D环境中，基于物理驱动、视觉引导的任务与运动规划基准，其中具有两个9自由度机械臂的具身智能体必须定位、抓取并使用容器作为工具，将散落的物体运输至目标位置。尽管采用了最先进模型，仍无智能体实现完全成功，最佳运输率仅为52%，凸显了该挑战的难度，以及在物理人工智能中整合学习与规划的必要性。

ABSTRACT

We introduce a visually-guided and physics-driven task-and-motion planning benchmark, which we call the ThreeDWorld Transport Challenge. In this challenge, an embodied agent equipped with two 9-DOF articulated arms is spawned randomly in a simulated physical home environment. The agent is required to find a small set of objects scattered around the house, pick them up, and transport them to a desired final location. We also position containers around the house that can be used as tools to assist with transporting objects efficiently. To complete the task, an embodied agent must plan a sequence of actions to change the state of a large number of objects in the face of realistic physical constraints. We build this benchmark challenge using the ThreeDWorld simulation: a virtual 3D environment where all objects respond to physics, and where can be controlled using fully physics-driven navigation and interaction API. We evaluate several existing agents on this benchmark. Experimental results suggest that: 1) a pure RL model struggles on this challenge; 2) hierarchical planning-based agents can transport some objects but still far from solving this task. We anticipate that this benchmark will empower researchers to develop more intelligent physics-driven robots for the physical world.

研究动机与目标

• 开发一个基准，用于评估具身智能体在逼真3D环境中执行涉及物理交互和物体状态操作的复杂、长时程任务的能力。
• 通过强调物理感知的导航、交互和工具使用，弥补现有基准在简单视觉导航或语义定位方面的不足。
• 在物理逼真模拟器中支持混合学习与规划方法的评估，推动家庭机器人领域的模拟到现实的迁移。
• 通过在物理约束下协调规划导航、抓取、物体运输和工具利用，挑战当前的智能体。
• 提供一个基于ThreeDWorld模拟平台的标准化、开放基准，配备完全物理驱动的API，实现高保真交互。

提出的方法

• 该基准基于ThreeDWorld（TDW）模拟平台构建，支持所有物体的逼真渲染和高保真物理模拟。
• 智能体在多房间、物理模拟的家庭环境中随机生成，环境中散落有物体，以及可移动的容器（可用作工具）。
• 通过完全物理驱动的高层API，智能体可使用关节级控制和物理动力学执行导航、抓取、举起和放置等动作。
• 任务要求智能体执行任务与运动规划：探索环境、定位物体、使用容器携带多个物品，并将它们运送到目标位置。
• 采用分层规划框架，包含子目标（如“寻找”、“抓取”、“携带”、“放置”），并使用基于A*的低层规划器进行路径规划和动作执行。
• 环境中包含动态约束，如碰撞导致的掉落、可达性限制和遮挡，要求智能体推理物理可行性。

实验结果

研究问题

• RQ1 现有基于学习和基于规划的智能体能否成功完成涉及多物体操作和工具使用的长时程、物理逼真任务？
• RQ2 在运输效率和鲁棒性方面，基于学习的探索策略（如Active、Semantic）与非学习策略（如Frontier）表现如何？
• RQ3 在富含物理特性的环境中，将规划与强化学习结合在复杂任务与运动规划中的性能提升程度如何？
• RQ4 端到端强化学习智能体在此基准中的主要失败模式是什么，特别是在物理交互和导航方面？
• RQ5 将容器作为工具引入后，任务的复杂性及解决方案策略发生了哪些变化？

主要发现

• 无智能体实现100%的运输率；最佳模型在5个未见过的房屋中仅达到52%的平均运输率，表明该基准难度极高。
• 纯强化学习（RL）智能体表现较差，仅实现12%的运输率，原因在于物理交互挑战和巨大的探索空间。
• 基于分层规划的智能体（采用基于航点的探索，如Frontier、Active、Semantic）显著优于纯RL，运输率达50–52%。
• RL探索基线（预测动作而非航点）因频繁碰撞和抓取失败，导致效率和运输成功率低下。
• 基于学习的探索方法（Active与Semantic）未超越非学习的Frontier探索，可能由于训练布局泛化能力差，且缺乏物理感知地图。
• 定性分析表明，基于规划的智能体遵循最优路径并避开障碍物，而RL智能体频繁发生碰撞，凸显了结构化子目标规划的价值。