[论文解读] Understanding the planning of LLM agents: A survey

Xu Huang, Weiwen Liu+7 more|arXiv (Cornell University)|Feb 5, 2024

Multi-Agent Systems and Negotiation被引用 29

一句话总结

对大型语言模型（LLMs）在自主代理规划中的应用进行系统性综述，提出五向分类法，并在交互基准上对代表性方法进行评估。

ABSTRACT

As Large Language Models (LLMs) have shown significant intelligence, the progress to leverage LLMs as planning modules of autonomous agents has attracted more attention. This survey provides the first systematic view of LLM-based agents planning, covering recent works aiming to improve planning ability. We provide a taxonomy of existing works on LLM-Agent planning, which can be categorized into Task Decomposition, Plan Selection, External Module, Reflection and Memory. Comprehensive analyses are conducted for each direction, and further challenges for the field of research are discussed.

研究动机与目标

• 通过提供一个全面的分类法，激发并组织基于LLM的代理规划研究。
• 分析五个规划方向的优点与局限性：任务分解、多计划选择、外部模块、反思与记忆。
• 总结代表性方法并讨论诸如幻觉、可行性与效率等挑战。
• 给出基准评估，用以比较不同方法在各任务上的规划能力。

提出的方法

• 提出五向分类法将LLM-代理规划方法分类：任务分解、多计划选择、外部规划助手辅助规划、反思与细化、记忆增强规划。
• 对每个方向进行形式化表述、代表性技术和关键见解的分析。
• 讨论分解策略（先分解与交错分解）的取舍。
• 回顾使用外部符号规划器与神经规划器的规划方法，包括LLM+PDDL、LLM+ASP以及神经规划器。
• 考察基于反思/细化的方法以及记忆增强（基于RAG的和具身记忆），并给出示例。
• 在四个基准上评估方法，以说明规划性能与资源消耗之间的关系。

实验结果

研究问题

• RQ1 在基于LLM的代理中推动规划的主要方法方向有哪些？
• RQ2 对于LLM代理而言，每个规划方向（任务分解、多计划选择、外部规划器、反思、记忆）的优点与局限性是什么？
• RQ3 外部规划器和记忆模态如何影响规划的可行性、效率和容错性？
• RQ4 基准评估中关于规划有效性与成本的实证证据有哪些？
• RQ5 在基于LLM的代理规划中，关键的开放挑战和未来方向是什么？

主要发现

• 五向分类法有效地组织了LLM-代理规划研究：任务分解、多计划选择、外部规划辅助规划、反思与细化，以及记忆增强规划。
• 交错式分解提高容错性，但在长路径中可能引发幻觉；先分解的方法强化任务与子任务的对齐，但可能缺乏适应性。
• 多计划生成与选择提供更广的搜索，但增加计算成本，且依赖于基于LLM的计划评估。
• 外部规划器（如PDDL等符号规划器；神经规划器）通过处理约束和搜索来提升可行性与效率；LLMs 主要用于形式化任务并提供推理。
• 反思与记忆（基于RAG的和具身记忆）提升容错性与适应性，尽管收敛与记忆更新的权衡仍然具有挑战性。
• 在ALFWorld、ScienceWorld、HotPotQA和FEVER上的基准评估显示，随着花费（tokens）的增加，性能有所提升，同时凸显成本与规划质量之间的权衡。