[论文解读] Text2Motion: From Natural Language Instructions to Feasible Plans

Kevin Lin, Christopher Agia+3 more|arXiv (Cornell University)|Mar 21, 2023

AI-based Problem Solving and Planning参考文献 71被引用 10

一句话总结

Text2Motion 将大型语言模型规划与已学习技能库及几何可行性规划器结合，产生并验证多步、长时域操作计划。它在挑战性任务上实现82%的成功率，优于先前基于语言的规划在13%的表现。

ABSTRACT

We propose Text2Motion, a language-based planning framework enabling robots to solve sequential manipulation tasks that require long-horizon reasoning. Given a natural language instruction, our framework constructs both a task- and motion-level plan that is verified to reach inferred symbolic goals. Text2Motion uses feasibility heuristics encoded in Q-functions of a library of skills to guide task planning with Large Language Models. Whereas previous language-based planners only consider the feasibility of individual skills, Text2Motion actively resolves geometric dependencies spanning skill sequences by performing geometric feasibility planning during its search. We evaluate our method on a suite of problems that require long-horizon reasoning, interpretation of abstract goals, and handling of partial affordance perception. Our experiments show that Text2Motion can solve these challenging problems with a success rate of 82%, while prior state-of-the-art language-based planning methods only achieve 13%. Text2Motion thus provides promising generalization characteristics to semantically diverse sequential manipulation tasks with geometric dependencies between skills.

研究动机与目标

• 推动长时域机器人规划，其中自然语言指令必须转换为可行的符号和几何计划。
• 将LLM与操作技能库和几何可行性规划器整合，以在执行前验证计划的可行性。
• 开发一种混合规划策略，结合基于射击的规划和基于搜索的规划，以处理未见任务。
• 提供计划终止机制，从自然语言指令推断目标状态以在执行前验证完成情况。

提出的方法

• 使用LLM从自然语言指令和场景描述生成目标命题和候选技能序列。
• 将每个技能表示为带有参数化操作原语的策略及相应的Q函数以评估可行性。
• 应用几何可行性规划（STAP）以最大化沿计划的各技能成功概率乘积（Eq. 4–5）。
• 实现一个基于射击的规划器，生成K个候选完整技能序列，并通过可行性分数选取最佳者（Algorithm 1）。
• 实现一个贪心搜索规划器，通过将LLM的有用性与几何可行性相结合（Eq. 8–12）迭代地选择下一个技能，并在可能时穿插射击。
• 提出一个混合 Text2Motion 算法，在执行前交替进行射击和贪心步规划，以找到几何上可行的计划（Algorithm 3）。
• 加入基于Q值集合方差的分布外检测器，以拒绝无效的OOD技能（Eq. 13）。

Figure 1: To carry out the instruction “get two primary-colored objects onto the rack,” the robot must apply symbolic reasoning over the scene description and language instruction to deduce what skills should be executed to acquire a second primary-colored object, after noticing that a red object is

实验结果

研究问题

• RQ1 我们如何在长时域机器人操作中验证LLM生成的计划的正确性与可行性？
• RQ2 将几何可行性规划与LLMs整合是否能提高具有几何依赖性的任务的成功率？
• RQ3 在对部分可用性感知的鲁棒性方面，混合射击与搜索的规划策略相较于短视的基于语言的规划器有何差异？
• RQ4 先验目标预测是否能够可靠地在执行前终止规划？
• RQ5 将计划建立在具有学习动力学和Q函数的技能库上的优点和局限性是什么？

主要发现

• Text2Motion 在一组长时域桌面操作任务上取得82%的成功率。
• 在同一评估下，之前的最先进基于语言的规划方法大约为13%。
• 跨技能序列的几何可行性规划对于处理跨多步的依赖至关重要。
• 结合射击与贪心搜索的混合规划器在具有几何依赖性的任务中优于纯粹短视或纯粹规划的基线。
• 先验目标预测为执行前的规划提供了可靠的终止信号。

Figure 2: shooting and greedy-search planning overview . Both shooting and greedy-search planners use the LLM to predict the set of valid goal states given the user’s natural language instruction and a description of the current state of the environment. These predicted goals are used to decide when