[论文解读] What Should We Engineer in Prompts? Training Humans in Requirement-Driven LLM Use

Qianou Ma, Weirui Peng+4 more|arXiv (Cornell University)|Sep 13, 2024

Artificial Intelligence in Law被引用 4

一句话总结

本文提出了需求导向提示工程（ROPE），一种训练范式，旨在帮助初学者清晰、完整地表达有效大语言模型（LLM）提示所需的需求。通过结合大语言模型生成的反馈进行刻意练习，ROPE使初学者的提示性能提升一倍，相较于传统训练方法，证明了高质量需求可直接促成高质量的LLM输出。

ABSTRACT

Prompting LLMs for complex tasks (e.g., building a trip advisor chatbot) needs humans to clearly articulate customized requirements (e.g., "start the response with a tl;dr"). However, existing prompt engineering instructions often lack focused training on requirement articulation and instead tend to emphasize increasingly automatable strategies (e.g., tricks like adding role-plays and "think step-by-step"). To address the gap, we introduce Requirement-Oriented Prompt Engineering (ROPE), a paradigm that focuses human attention on generating clear, complete requirements during prompting. We implement ROPE through an assessment and training suite that provides deliberate practice with LLM-generated feedback. In a randomized controlled experiment with 30 novices, ROPE significantly outperforms conventional prompt engineering training (20% vs. 1% gains), a gap that automatic prompt optimization cannot close. Furthermore, we demonstrate a direct correlation between the quality of input requirements and LLM outputs. Our work paves the way to empower more end-users to build complex LLM applications.

研究动机与目标

• 为解决尽管提示优化技术不断进步，初学者在LLM提示中仍难以有效传达定制化需求的挑战。
• 将关注点从语法层面的提示优化，转向将需求表达作为提示工程的核心技能。
• 设计并评估一种训练系统，以提升初学者为复杂LLM任务编写完整、具体需求的能力。
• 建立一个反馈循环，使LLM能够提供针对性的、多模态的反馈，以评估需求质量，指导迭代改进。
• 证明需求质量是LLM输出有效性的主要决定因素，即使在其他提示技术被优化的情况下也是如此。

提出的方法

• 开发了一套以刻意练习为核心的训练套件，用户根据LLM对需求质量的反馈，迭代优化提示。
• 采用前后测实验设计，招募30名初学者，评估需求质量与最终提示的有效性。
• 设计评估任务，将需求的完整性和具体性与实际LLM输出质量关联，采用任务复制的平衡设计（例如，复制一个TripAdvisor聊天机器人）。
• 整合来自LLM的多模态反馈，包括澄清、建议以及对误解的解释，以指导用户优化需求。
• 通过内在指标（如完整性、具体性）和外在指标（如任务成功率、输出正确性）定义并测量需求质量。
• 利用LLM模拟并揭示需求理解中的偏见，促使用户优化模糊或过于宽泛的需求。

Figure 1 . We propose Requirement-Oriented-Prompt Engineering (ROPE) to help novices write effective prompt programs by focusing on articulating good requirements. (A) Our training provides deliberate practice in refining requirements, with automated feedback across various modalities. (B) We provid

实验结果

研究问题

• RQ1 以需求表达为核心的训练是否能显著提升初学者为复杂LLM任务生成有效提示的能力？
• RQ2 与传统提示工程训练相比，ROPE训练在提示性能和需求质量方面表现如何？
• RQ3 在其他提示技术保持不变的情况下，LLM输出质量在多大程度上由输入需求质量决定？
• RQ4 LLM生成的反馈能否有效指导用户优化其需求，特别是识别缺失或模糊的要素？
• RQ5 用户在指定需求方面的能力如何随任务复杂度和领域专业知识的变化而变化？训练能否适应这些差异？

主要发现

• 与传统提示工程训练相比，ROPE训练使初学者的提示性能提升一倍，且在需求质量与最终输出有效性方面均达到统计显著提升。
• 即使在其他提示技术保持不变的情况下，输入需求的质量仍是LLM输出质量的最强预测因子。
• 接受ROPE训练的初学者在表达关键行为需求方面表现出显著提升，例如处理多样化输入和管理边缘情况。
• LLM对需求的反馈显著提升了用户识别并纠正其提示中模糊和遗漏问题的能力。
• 与对照组相比，ROPE组参与者更有可能包含关键需求，如“询问后续问题”和“处理模糊输入”。
• 研究发现，即使是有经验的用户也常常未能清晰表达LLM难以处理的需求，凸显了结构化需求规范训练的必要性。

Figure 2 . Automatically refine a user’s prompt for Trip Advisor using the optimizer Prompt Maker. Customized requirements still need to come from the human prompt, while the optimizer improves on fluency, role plays, structures, etc.