[论文解读] Plansformer: Generating Symbolic Plans using Transformers

Vishal Pallagani, Bharath Muppasani+6 more|arXiv (Cornell University)|Dec 16, 2022

Natural Language Processing Techniques被引用 12

一句话总结

Plansformer 引入了一种微调的基于变压器的大型语言模型，能够为人工智能规划任务生成正确且简洁的符号规划，在汉诺塔领域实现了约 97% 的有效性与约 95% 的最优性，且知识工程需求极低。它利用迁移学习，在不同复杂度的多样化规划领域间实现泛化。

ABSTRACT

Large Language Models (LLMs) have been the subject of active research, significantly advancing the field of Natural Language Processing (NLP). From BERT to BLOOM, LLMs have surpassed state-of-the-art results in various natural language tasks such as question answering, summarization, and text generation. Many ongoing efforts focus on understanding LLMs' capabilities, including their knowledge of the world, syntax, and semantics. However, extending the textual prowess of LLMs to symbolic reasoning has been slow and predominantly focused on tackling problems related to the mathematical field. In this paper, we explore the use of LLMs for automated planning - a branch of AI concerned with the realization of action sequences (plans) to achieve a goal, typically executed by intelligent agents, autonomous robots, and unmanned vehicles. We introduce Plansformer; an LLM fine-tuned on planning problems and capable of generating plans with favorable behavior in terms of correctness and length with reduced knowledge-engineering efforts. We also demonstrate the adaptability of Plansformer in solving different planning domains with varying complexities, owing to the transfer learning abilities of LLMs. For one configuration of Plansformer, we achieve ~97% valid plans, out of which ~95% are optimal for Towers of Hanoi - a puzzle-solving domain.

研究动机与目标

• 将大型语言模型（LLM）的能力从自然语言任务扩展到自动化规划中的符号推理。
• 通过在 LLM 中利用迁移学习来减少在规划任务中对大量知识工程的依赖。
• 开发一种统一框架，以解决具有不同复杂度的多样化规划领域。
• 从正确性、最优性和规划长度三个方面评估模型在符号规划生成方面的性能。

提出的方法

• 在精心筛选的规划问题及其对应符号规划数据集上微调预训练的基于变压器的 LLM。
• 以结构化、基于文本的格式表示规划问题和解决方案，以适配 LLM 的输入与输出。
• 利用模型的注意力机制捕捉符号规划序列中的长距离依赖关系和结构模式。
• 应用迁移学习，实现在不同规划领域间的零样本或少样本泛化。
• 通过提示工程和少样本示范引导模型生成有效且最优的规划。
• 通过与领域特定规划基准的自动化验证来验证规划的正确性与最优性。

实验结果

研究问题

• RQ1 微调后的 LLM 是否能在极少任务特定工程的情况下，为复杂规划领域生成有效的符号规划？
• RQ2 该模型在不同规划领域中的规划正确性与最优性表现如何变化？
• RQ3 从一个规划领域进行的迁移学习，能在多大程度上提升其在未见的、结构不同的领域中的性能？
• RQ4 提示设计与少样本示例对模型生成最优规划能力的影响如何？
• RQ5 与传统符号规划算法相比，该模型在规划质量与推理效率方面表现如何？

主要发现

• 在某一配置下，Plansformer 在汉诺塔领域生成规划的有效性达到了约 97%。
• 在有效规划中，约 95% 被发现为最优，表明其在规划质量方面表现优异。
• 该模型展示了迁移学习能力，能有效泛化到不同复杂度的多样化规划领域。
• 与传统符号规划系统相比，该方法显著减少了对手工知识工程的需求。
• Plansformer 在规划正确性与最优性方面优于基线方法，尤其在复杂或未见的领域中表现更优。
• 该模型在少样本提示下表现稳健，表明其具备强大的少样本泛化能力。