[论文解读] PromptAgent: Strategic Planning with Language Models Enables Expert-level Prompt Optimization

Xinyuan Wang, Chenxi Li+7 more|arXiv (Cornell University)|Oct 25, 2023

Topic Modeling被引用 5

一句话总结

PromptAgent 是一种新颖的框架，将提示优化问题重新构架为使用蒙特卡洛树搜索（MCTS）的策略规划问题，以自主生成专家水平的提示。通过迭代地反思模型错误，并利用自动生成的反馈不断优化提示，该方法在12项多样化的自然语言处理任务中实现了与手工编写的专家提示相当的性能，显著优于Chain-of-Thought和APE等强基线模型。

ABSTRACT

Highly effective, task-specific prompts are often heavily engineered by experts to integrate detailed instructions and domain insights based on a deep understanding of both instincts of large language models (LLMs) and the intricacies of the target task. However, automating the generation of such expert-level prompts remains elusive. Existing prompt optimization methods tend to overlook the depth of domain knowledge and struggle to efficiently explore the vast space of expert-level prompts. Addressing this, we present PromptAgent, an optimization method that autonomously crafts prompts equivalent in quality to those handcrafted by experts. At its core, PromptAgent views prompt optimization as a strategic planning problem and employs a principled planning algorithm, rooted in Monte Carlo tree search, to strategically navigate the expert-level prompt space. Inspired by human-like trial-and-error exploration, PromptAgent induces precise expert-level insights and in-depth instructions by reflecting on model errors and generating constructive error feedback. Such a novel framework allows the agent to iteratively examine intermediate prompts (states), refine them based on error feedbacks (actions), simulate future rewards, and search for high-reward paths leading to expert prompts. We apply PromptAgent to 12 tasks spanning three practical domains: BIG-Bench Hard (BBH), as well as domain-specific and general NLP tasks, showing it significantly outperforms strong Chain-of-Thought and recent prompt optimization baselines. Extensive analyses emphasize its capability to craft expert-level, detailed, and domain-insightful prompts with great efficiency and generalizability.

研究动机与目标

• 自动化创建集成深层领域知识和细微指令的专家水平提示。
• 解决现有提示优化方法依赖启发式搜索且无法达到专家质量提示结构的局限性。
• 通过将提示优化建模为规划问题，实现在庞大提示空间中的自主、战略性探索。
• 通过生成详细、结构化且蕴含领域洞察的提示，无需人工干预，提升在多样化自然语言处理任务上的性能。
• 证明大语言模型能够通过错误分析和自我反思自主优化提示，模仿专家人类的行为。

提出的方法

• 使用蒙特卡洛树搜索（MCTS）将提示优化重新构建成一种策略规划问题，以高效探索提示空间。
• 将每个提示视为树中的一个状态，动作则为基于错误反馈的提示优化操作。
• 通过分析模型预测并识别差异，利用自我反思生成建设性的错误反馈。
• 使用模拟的未来奖励引导探索，并通过反向传播奖励来更新对提示质量的信念估计。
• 从初始人工编写的提示开始，通过基于错误的优化和前瞻规划迭代改进提示。
• 通过迭代优化整合领域特定洞察和结构复杂性（例如任务描述、例外处理、格式规范）

实验结果

研究问题

• RQ1 大语言模型能否在无需人工干预的情况下，自主生成与手工编写质量相当或更优的专家水平提示？
• RQ2 基于规划的方法（如MCTS）能否有效导航专家水平提示的复杂、高维空间？
• RQ3 对模型错误的自我反思在多大程度上提升了生成提示的质量和深度？
• RQ4 该方法在多样化自然语言处理任务和领域中的泛化能力如何？
• RQ5 该策略规划框架是否优于启发式或基于梯度的提示优化基线方法？

主要发现

• 在CB任务中，PromptAgent的测试准确率达到0.886，显著高于人工提示（0.742）和APE基线（0.834）。
• 在CB任务中，PromptAgent达到0.911的准确率，超过APE基线（0.8036），并展现出更优的推理结构和清晰度。
• 该方法自动发现了复杂的专家水平提示结构，包括任务描述、术语澄清、解题指导、异常处理和格式规范。
• PromptAgent在BIG-Bench Hard、领域特定任务和通用自然语言处理基准中的12项多样化任务上，持续优于Chain-of-Thought和APE等强基线。
• 该框架通过在错误上进行自我反思，成功引入了领域特定洞察和细微指令，模仿了专家提示行为。
• 大量消融实验和分析证实，错误反馈和前瞻规划是该方法成功的关键，当移除这些组件时性能显著下降。