[论文解读] PRompt Optimization in Multi-Step Tasks (PROMST): Integrating Human Feedback and Heuristic-based Sampling

Yongchao Chen, Jacob Arkin+4 more|arXiv (Cornell University)|Feb 13, 2024

Complex Systems and Decision Making被引用 4

一句话总结

PROMST 是一种用于多步 LLM 驱动任务中自动提示优化的新颖框架，结合人工设计的反馈规则与学习到的评分预测模型，以指导高效候选生成。在使用多种 LLM 的 11 项多步任务中，PROMST 相较基线方法实现了 10.6%–29.3% 的相对性能提升。

ABSTRACT

Prompt optimization aims to find the best prompt to a large language model (LLM) for a given task. LLMs have been successfully used to help find and improve prompt candidates for single-step tasks. However, realistic tasks for agents are multi-step and introduce new challenges: (1) Prompt content is likely to be more extensive and complex, making it more difficult for LLMs to analyze errors, (2) the impact of an individual step is difficult to evaluate, and (3) different people may have varied preferences about task execution. While humans struggle to optimize prompts, they are good at providing feedback about LLM outputs; we therefore introduce a new LLM-driven discrete prompt optimization framework PRompt Optimization in Multi-Step Tasks (PROMST) that incorporates human-designed feedback rules to automatically offer direct suggestions for improvement. We also use an extra learned heuristic model that predicts prompt performance to efficiently sample from prompt candidates. This approach significantly outperforms both human-engineered prompts and several other prompt optimization methods across 11 representative multi-step tasks (an average 10.6\%-29.3\% improvement to current best methods on five LLMs respectively). We believe our work can serve as a benchmark for automatic prompt optimization for LLM-driven multi-step tasks. Datasets and Codes are available at https://github.com/yongchao98/PROMST. Project Page is available at https://yongchao98.github.io/MIT-REALM-PROMST.

研究动机与目标

• 为解决在因长度和错误复杂性而使标准方法失效的复杂多步代理任务中，自动提示优化的挑战。
• 通过预定义的反馈规则将人类专业知识融入提示优化，以指导 LLM 生成改进的提示。
• 通过训练评分预测模型以启发式方式选择高潜力提示候选，从而降低昂贵的评估开销。
• 通过基于规则的评估标准，使优化后的提示与人类偏好保持一致。
• 通过开源数据集和代码，为多步环境中的自动提示优化建立基准。

提出的方法

• 该框架使用 TaskLLM 在多步环境中执行操作，当先决条件被违反时会失败。
• 人工设计的反馈规则自动为每次失败生成纠正性反馈，随后作为上下文输入给 PromptLLM，以生成新的提示候选。
• 评分函数评估每个提示在环境中的表现，生成用于训练的标注提示-评分对。
• 使用这些配对在线微调一个学习到的评分预测模型，以预测提示质量并指导候选采样。
• 系统通过多代迭代演化提示，利用评分模型优先评估高潜力候选。
• 反馈规则旨在确保正确性、避免循环、保证目标对齐，并维持操作格式一致性。

实验结果

研究问题

• RQ1 人工设计的反馈规则是否能有效指导 LLM 在多步任务中生成改进的提示？
• RQ2 集成学习到的评分预测模型如何提升提示优化的效率和效果？
• RQ3 PROMST 在多步设置中相对于人工设计和现有自动提示优化方法的性能提升程度如何？
• RQ4 基于规则的评估标准是否有助于使优化后的提示与人类偏好保持一致？
• RQ5 PROMST 与动态提示策略结合时是否具有兼容性和有效性？

主要发现

• 在 11 项多步任务中，PROMST 在五种 LLM 上相较最佳基线方法实现了 10.6%–29.3% 的相对性能提升。
• 人工设计的反馈规则与学习到的评分模型的结合，显著优于人工设计提示和现有自动优化技术。
• PROMST 在多轮试验设置中表现出色，尤其在与动态提示方法结合时。
• 人工设计的评估规则有效使优化后的提示与人类偏好保持一致，提升了任务成功率和一致性。
• 该框架与既有的动态提示策略正交且兼容，可增强其有效性。
• 作者发布了 11 个多步环境的所有数据集和代码，为未来自动提示优化研究建立了基准。