[论文解读] PlanBench: An Extensible Benchmark for Evaluating Large Language Models on Planning and Reasoning about Change

Karthik Valmeekam, Marquez, Matthew+3 more|arXiv (Cornell University)|Jun 21, 2022

Natural Language Processing Techniques被引用 49

一句话总结

PlanBench 是一个可扩展的基准套件，使用 IPC 风格的规划领域（Blocksworld 和 Logistics）来评估大模型在规划和对变化的推理上的能力；结果显示当前的大模型如 GPT-4 和 InstructGPT-3 在许多规划任务上表现欠佳。

ABSTRACT

Generating plans of action, and reasoning about change have long been considered a core competence of intelligent agents. It is thus no surprise that evaluating the planning and reasoning capabilities of large language models (LLMs) has become a hot topic of research. Most claims about LLM planning capabilities are however based on common sense tasks-where it becomes hard to tell whether LLMs are planning or merely retrieving from their vast world knowledge. There is a strong need for systematic and extensible planning benchmarks with sufficient diversity to evaluate whether LLMs have innate planning capabilities. Motivated by this, we propose PlanBench, an extensible benchmark suite based on the kinds of domains used in the automated planning community, especially in the International Planning Competition, to test the capabilities of LLMs in planning or reasoning about actions and change. PlanBench provides sufficient diversity in both the task domains and the specific planning capabilities. Our studies also show that on many critical capabilities-including plan generation-LLM performance falls quite short, even with the SOTA models. PlanBench can thus function as a useful marker of progress of LLMs in planning and reasoning.

研究动机与目标

• 介绍 PlanBench，一个可扩展的基准，用于在多个领域评估大语言模型的规划与推理。
• 将基准置于经典规划形式（PDDL）之中，以约束和测试 LLM 的输出。
• 提供一个任务课程（计划生成、成本最优规划、验证、执行推理、重新规划、泛化、重用和鲁棒性）来评估规划能力。
• 展示一个领域无关的评估框架，以及领域相关的组件（领域、问题生成、翻译）用于提示生成与计划验证。
• 提供一个包含约26,250条提示的数据集，其中包含混淆的领域名称，以测试对领域命名鲁棒性。
• 展示基线结果，借助最先进的大模型，以量化当前能力并指导未来改进。

提出的方法

• 定义一个域无关的规划评估框架，锚定于符号规划器和计划验证器。
• 使用域相关组件：一个提升域模型、问题生成器，以及一个将自然语言与形式表示互译的翻译器。
• 将类似 PDDL 的问题翻译为自然语言提示，并将 LLM 输出解析回计划表示以进行验证。
• 在 IPC 域中采用八个测试用例的课程（七个规划/推理任务加上计划生成），使用少样本提示和计划结束标记进行提取。
• 混淆域名称以测试对表面命名与潜在推理模式的依赖。
• 提供包含提示、数据集和复现实验脚本的公共仓库。

实验结果

研究问题

• RQ1 LLMs 是否能够在常识性规划域中生成达到明确目标的有效计划？
• RQ2 LLMs 是否能够在约束条件下生成成本最优的计划并验证计划的有效性？
• RQ3 LLMs 是否能够推理计划的执行并预测行动的结果？
• RQ4 在目标改写、计划重用和在变化下的重新规划方面，LLMs 的鲁棒性有多高？
• RQ5 LLMs 在将学习到的规划模式泛化到新实例或混淆域方面能达到什么程度？

主要发现

• GPT-4 在 Plan Generation 上正确率为 34.3%（206/600），在 Cost-Optimal Planning 上为 33.0%（198/600）。
• InstructGPT-3 在 Plan Generation 上达到 6.8%（41/600），在 Cost-Optimal Planning 上达到 5.8%（35/600）。
• Plan Verification 对 GPT-4 的正确率为 58.6%（352/600），对 InstructGPT-3 为 12%（72/600）。
• Reasoning About Plan Execution 对 GPT-4 达到 31.8%（191/600），对 InstructGPT-3 仅为 0.6%（4/600）。
• Replanning 对 GPT-4 达到 48.1%（289/600），对 InstructGPT-3 为 6.6%（40/600）。
• Plan Generalization：GPT-4 为 28.2%（141/500），InstructGPT-3 为 9.8%（49/500）。
• Plan Reuse 显示 GPT-4 为 65.3%（392/600），InstructGPT-3 为 17%（102/600）。
• 对目标改写（洗牌）的鲁棒性：GPT-4 为 76.8%（461/600），InstructGPT-3 为 77.8%（467/600）。
• 对目标改写（全→部分）的鲁棒性：GPT-4 为 87%（522/600），InstructGPT-3 为 77.8%（467/600）。
• 对目标改写（部分→全）的鲁棒性：GPT-4 为 58%（348/600），InstructGPT-3 为 60.5%（363/600）。