[论文解读] Tree-Planner: Efficient Close-loop Task Planning with Large Language Models

Mengkang Hu, Yao Mu+8 more|arXiv (Cornell University)|Oct 12, 2023

Topic Modeling被引用 6

一句话总结

Tree-Planner 提出了一种三阶段框架——计划采样、动作树构建和基于环境的决策——通过减少标记消耗和错误纠正开销，提升了基于大语言模型（LLM）的任务规划效率。与迭代式 LLM 规划相比，它实现了 92.2% 的标记使用量降低和 40.5% 的错误纠正次数减少，同时在 VirtualHome 模拟中保持了最先进水平的性能。

ABSTRACT

This paper studies close-loop task planning, which refers to the process of generating a sequence of skills (a plan) to accomplish a specific goal while adapting the plan based on real-time observations. Recently, prompting Large Language Models (LLMs) to generate actions iteratively has become a prevalent paradigm due to its superior performance and user-friendliness. However, this paradigm is plagued by two inefficiencies: high token consumption and redundant error correction, both of which hinder its scalability for large-scale testing and applications. To address these issues, we propose Tree-Planner, which reframes task planning with LLMs into three distinct phases: plan sampling, action tree construction, and grounded deciding. Tree-Planner starts by using an LLM to sample a set of potential plans before execution, followed by the aggregation of them to form an action tree. Finally, the LLM performs a top-down decision-making process on the tree, taking into account real-time environmental information. Experiments show that Tree-Planner achieves state-of-the-art performance while maintaining high efficiency. By decomposing LLM queries into a single plan-sampling call and multiple grounded-deciding calls, a considerable part of the prompt are less likely to be repeatedly consumed. As a result, token consumption is reduced by 92.2% compared to the previously best-performing model. Additionally, by enabling backtracking on the action tree as needed, the correction process becomes more flexible, leading to a 40.5% decrease in error corrections.

研究动机与目标

• 解决迭代式基于大语言模型的任务规划中的标记低效和纠正低效问题。
• 减少在多个规划步骤中重复使用的提示标记量。
• 在不重新生成完整计划的前提下，实现灵活的、基于回溯的错误纠正。
• 在提升可扩展性以支持实际部署的同时，保持高性能。
• 提供一种高效的推理时框架，避免微调或架构修改。

提出的方法

• Tree-Planner 首先通过一次大语言模型调用，基于常识知识采样多个潜在的任务计划。
• 它构建一个动作树，将采样到的计划聚合并结构化为一个分层决策图。
• 在执行过程中，大语言模型基于实时环境观测，在树上进行自顶向下的、基于环境的推理。
• 当动作失败时，会在树上触发回溯，实现无需全局重规划的局部纠正。
• 该框架将计划生成与执行解耦，最大限度减少重复的提示标记使用。
• 它仅依赖提示工程和基于树的推理，无需微调，完全利用黑箱大语言模型。

实验结果

研究问题

• RQ1 我们能否通过最小化重复提示使用，减少基于大语言模型的任务规划中的标记消耗？
• RQ2 我们能否通过在结构化计划树上实现回溯，提升错误纠正效率？
• RQ3 我们能否在减少对迭代式自回归大语言模型调用依赖的同时，保持高任务成功率？
• RQ4 与端到端的迭代提示方法相比，使用动作树的‘先生成后选择’方法在效率和鲁棒性方面表现如何？
• RQ5 计划多样性与树结构对决策质量和纠正灵活性有何影响？

主要发现

• 与性能最佳的迭代基线相比，Tree-Planner 将标记消耗降低了 92.2%。
• 通过在动作树上实现灵活的回溯，错误纠正频率降低了 40.5%。
• 该框架在 VirtualHome 基准上实现了复杂家庭任务的最先进性能。
• 单次计划采样调用避免了在每一步中重复包含全局上下文和少样本示例。
• 动作树支持细粒度的、基于环境的决策，其表现优于局部和全局重规划策略。
• 定性分析表明，模型的失败案例主要源于计划采样错误或环境信息不完整。