[论文解读] Prompt Design and Engineering: Introduction and Advanced Methods

Xavier Amatriain|arXiv (Cornell University)|Jan 24, 2024

BIM and Construction Integration被引用 31

一句话总结

本文综述了对大型语言模型的提示设计与工程，介绍核心概念与高级技术，如 Chain-of-Thought、Reflection 与基于代理的提示，以及对工具的综述。

ABSTRACT

Prompt design and engineering has rapidly become essential for maximizing the potential of large language models. In this paper, we introduce core concepts, advanced techniques like Chain-of-Thought and Reflection, and the principles behind building LLM-based agents. Finally, we provide a survey of tools for prompt engineers.

研究动机与目标

• 定义用于生成型 AI 模型的提示设计与工程。
• 解释核心提示类型及其如何影响模型输出。
• 综述高级技术（CoT、Reflection、ToT、工具、Rails、RAG）及其应用。
• 讨论 LLM 的局限性以及高级提示如何缓解它们。
• 提供提示工程师使用的工具与框架的全景。

提出的方法

• 描述基本与高级提示结构以及提示工程工作流。
• 结合示例介绍 Chain-of-Thought 及其他推理增强技术。
• 介绍包括 ToT、Tools/Connectors/Skills、ART、Self-Consistency、Reflection、Expert Prompting 和 Rails 在内的高级方法。
• 讨论诸如 APE 与基于 PromptChainer 的链条等自动化与工具链。
• 概述 Retrieval Augmented Generation (RAG) 及相关的提示策略。
• 参考相关著名工作以将方法置于上下文中。

Figure 1: Instructions + Question Prompt result example

实验结果

研究问题

• RQ1 LLM 的提示设计与工程的基础概念是什么？
• RQ2 哪些高级提示技术能提升 LLM 输出的推理、事实性和可靠性？
• RQ3 如何对提示进行设计以利用外部工具、记忆和知识来源？
• RQ4 哪些工具架构（agents、Rails、APE）支持可扩展的提示工程？
• RQ5 提示策略旨在缓解的 LLM 的核心局限性有哪些？

主要发现

• Chain-of-Thought 提示及其变体能改善 LLM 的问题解决能力。
• 如 Tree of Thought 与 self-consistency 等技术提升探索性和可靠性。
• 外部工具、连接器和技能扩展了 LLM 超出固有知识的能力。
• Reflection、expert prompting 与 Rails 将输出引导至准确性与安全性。
• 自动化的提示工程与 RAG 方法实现对提示设计的自动化与增强。
• 知名框架和工具（如 PromptChainer、Nemo Guardrails、APE）展示了实际的工程工作流。

Figure 2: Instructions + Input Prompt result example