[论文解读] Understanding the Capabilities of Large Language Models for Automated Planning

Vishal Pallagani, Bharath Muppasani+6 more|arXiv (Cornell University)|May 25, 2023

Natural Language Processing Techniques被引用 6

一句话总结

本文研究了大型语言模型（LLMs）在使用PDDL进行自动规划方面的能力，发现对在代码上预训练的LLMs进行微调可显著提升其在已见领域中的计划生成能力，但其在未见领域中的泛化能力仍然有限。本研究提出了一种新的计划泛化度量方法，并提供了公开的基准数据集与模型权重，以推动未来基于LLM的规划研究。

ABSTRACT

Automated planning is concerned with developing efficient algorithms to generate plans or sequences of actions to achieve a specific goal in a given environment. Emerging Large Language Models (LLMs) can answer questions, write high-quality programming code, and predict protein folding, showcasing their versatility in solving various tasks beyond language-based problems. In this paper, we aim to explore how LLMs can also be used for automated planning. To do so, we seek to answer four key questions. Firstly, we want to understand the extent to which LLMs can be used for plan generation. Secondly, we aim to identify which pre-training data is most effective in facilitating plan generation. Thirdly, we investigate whether fine-tuning or prompting is a more effective approach for plan generation. Finally, we explore whether LLMs are capable of plan generalization. By answering these questions, the study seeks to shed light on the capabilities of LLMs in solving complex planning problems and provide insights into the most effective approaches for using LLMs in this context.

研究动机与目标

• 评估LLMs在以PDDL表达的经典规划问题中生成有效且最优计划的能力。
• 识别哪种预训练数据（如代码与自然语言）能增强LLMs的计划生成能力。
• 比较提示（prompting）与微调在提升LLMs计划生成能力方面的有效性。
• 评估LLMs在不同计划长度、对象名称及未见规划领域中的泛化能力。

提出的方法

• 使用来自PDDL基准的6个经典规划领域的多样化数据集，对CodeT5和code-davinci进行微调。
• 通过在训练领域中使用少量示例进行few-shot提示，评估零样本与少样本的计划生成能力。
• 提出一种新度量方法$E_{pg}$，基于不同计划长度与对象名称变化下的正确性，量化计划泛化能力。
• 在未见领域（childsnack、depots、satellite）中进行实验，以评估跨领域泛化能力。
• 使用公开的代码库与模型权重，确保实验可复现，并支持未来研究。
• 评估模型在计划正确性、计划长度泛化能力以及对随机化对象名称的鲁棒性。

实验结果

研究问题

• RQ1 LLMs在多大程度上能够解决以PDDL表达的规划问题？
• RQ2 哪种预训练数据最有利于提升LLMs的计划生成能力？
• RQ3 微调还是提示能带来更好的计划生成性能？
• RQ4 LLMs是否具备在未见规划领域及不同计划长度上的泛化能力？

主要发现

• 未经微调的预训练LLMs无法有效解决规划问题。
• 在代码上预训练的LLMs（如CodeT5、code-davinci）在计划生成方面优于仅基于自然语言的模型。
• 微调显著提升了计划生成能力，其正确率更高，且在未见计划长度上的泛化能力优于提示方法。
• 当词汇与训练数据一致时，微调模型对随机化对象名称表现出部分泛化能力，但当词汇差异较大时则失败。
• 当测试于完全未见的领域（如childsnack、depots、satellite）时，提示与微调方法均完全失效，$E_{pg} = 1$ 表明未生成任何有效计划。
• 所提出的$E_{pg}$度量方法能有效捕捉计划泛化能力，揭示尽管在长度与结构泛化方面有所进展，当前LLMs在领域泛化方面仍存在显著困难。