[论文解读] Task and Motion Planning with Large Language Models for Object Rearrangement

Yan Ding, Xiaohan Zhang+2 more|arXiv (Cornell University)|Mar 10, 2023

Multimodal Machine Learning Applications被引用 4

一句话总结

本文提出 LLM-GROP 框架，利用大语言模型（LLMs）提取常识性空间知识，用于多物体重排任务与运动规划。通过提示 LLM 生成语义上有效的物体配置，并借助运动规划进行具身化，LLM-GROP 使移动操作机器人能够在复杂、未见过的环境中以高成功率和符合人类偏好的方式执行自然语言指令。

ABSTRACT

Multi-object rearrangement is a crucial skill for service robots, and commonsense reasoning is frequently needed in this process. However, achieving commonsense arrangements requires knowledge about objects, which is hard to transfer to robots. Large language models (LLMs) are one potential source of this knowledge, but they do not naively capture information about plausible physical arrangements of the world. We propose LLM-GROP, which uses prompting to extract commonsense knowledge about semantically valid object configurations from an LLM and instantiates them with a task and motion planner in order to generalize to varying scene geometry. LLM-GROP allows us to go from natural-language commands to human-aligned object rearrangement in varied environments. Based on human evaluations, our approach achieves the highest rating while outperforming competitive baselines in terms of success rate while maintaining comparable cumulative action costs. Finally, we demonstrate a practical implementation of LLM-GROP on a mobile manipulator in real-world scenarios. Supplementary materials are available at: https://sites.google.com/view/llm-grop

研究动机与目标

• 为解决服务机器人从描述不充分的自然语言指令中执行常识性物体重排的挑战。
• 弥合高层语义知识（如“刀的左侧是叉子”）与动态、未知环境中低层运动规划之间的鸿沟。
• 在无需任务特定训练数据的情况下，提升机器人规划在不同场景几何结构和物体配置下的泛化能力。
• 评估 LLM 提取的常识性知识是否相比现有基线方法，能生成更符合人类偏好且更高效的重排计划。

提出的方法

• 使用大语言模型（LLM）根据自然语言指令生成符号化空间关系（如“叉子在刀的左侧”）。
• 通过评估物理可行性的任务与运动规划器，将符号化空间关系具身化为几何配置。
• 通过平衡运动可行性、任务完成效率和长期效用，优化生成的任务-运动规划。
• 将 LLM 生成的规划集成到基于 Segway 平台的实体移动操作机器人系统中，配备 UR5e 机械臂。
• 应用硬编码的抓取策略和避障机制，实现在真实物理机器人上的部署。
• 通过人类评估，比较 LLM-GROP 与基线方法在用户满意度和执行时间方面的最终物体排列偏好。

Figure 1: A mobile manipulator is assigned the task of setting a table in a dining domain. The manipulator needs to arrange several tableware objects, including a knife, a fork, a plate, a cup mat, and a mug. These objects are available on the other tables, and there are also randomly generated obst

实验结果

研究问题

• RQ1 LLM 是否能可靠地从自然语言指令中提取用于物体重排的常识性空间关系？
• RQ2 LLM-GROP 在符合人类偏好的物体重排方面，与现有任务与运动规划基线相比表现如何？
• RQ3 LLM-GROP 在无需微调的情况下，对不同场景几何结构和物体数量的泛化能力如何？
• RQ4 LLM 提取的知识是否能在真实机器人执行中生成更高效且更受青睐的排列？
• RQ5 与基线方法相比，LLM-GROP 在规划效率与人类偏好之间存在何种权衡？

主要发现

• LLM-GROP 在人类评估中获得最高用户评分，显著优于基线方法，在物体排列感知质量方面表现更优。
• 该方法在所有方法中平均任务完成时间最短，表明在真实执行中具有高效率。
• LLM-GROP 在保持与基线相当的累积动作成本的同时，实现了更高的用户满意度，表明效率与偏好之间存在有利权衡。
• 该框架成功在真实移动操作机器人上执行了复杂重排任务，包括将叉子置于盘子左侧、将草莓放在盘子上，并实现语义上有效的配置。
• 所有任务中用户评分均保持高水平，包括包含五个物体的任务，表明对任务复杂度增加具有鲁棒性。
• 真实世界演示证实，LLM-GROP 能够在动态室内环境中避免障碍物和人类，实现合理且符合人类偏好的物体放置。

Figure 2: LLM-GROP takes service requests from humans for setting tables and produces a task-motion plan that the robot can execute. LLM-GROP is comprised of two key components: the LLM and the Task and Motion Planner. The LLM is responsible for creating both symbolic and geometric spatial relations