[论文解读] Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing

Pengfei Liu, Weizhe Yuan+4 more|arXiv (Cornell University)|Jul 28, 2021

Topic Modeling被引用 513

一句话总结

一个全面的综述，整理了基于提示的学习在自然语言处理中的应用，详细介绍提示基础知识、模型家族、设计策略、训练方法、应用场景、挑战以及元分析，并提供帮助新手的资源。

ABSTRACT

This paper surveys and organizes research works in a new paradigm in natural language processing, which we dub "prompt-based learning". Unlike traditional supervised learning, which trains a model to take in an input x and predict an output y as P(y|x), prompt-based learning is based on language models that model the probability of text directly. To use these models to perform prediction tasks, the original input x is modified using a template into a textual string prompt x' that has some unfilled slots, and then the language model is used to probabilistically fill the unfilled information to obtain a final string x, from which the final output y can be derived. This framework is powerful and attractive for a number of reasons: it allows the language model to be pre-trained on massive amounts of raw text, and by defining a new prompting function the model is able to perform few-shot or even zero-shot learning, adapting to new scenarios with few or no labeled data. In this paper we introduce the basics of this promising paradigm, describe a unified set of mathematical notations that can cover a wide variety of existing work, and organize existing work along several dimensions, e.g.the choice of pre-trained models, prompts, and tuning strategies. To make the field more accessible to interested beginners, we not only make a systematic review of existing works and a highly structured typology of prompt-based concepts, but also release other resources, e.g., a website http://pretrain.nlpedia.ai/ including constantly-updated survey, and paperlist.

研究动机与目标

• 将基于提示的学习范式引入为对传统监督学习的转变。
• 提供一个正式、统一的提示概念与记号描述，涵盖多样化的研究工作。
• 按预训练模型、提示和调优策略等维度组织现有工作。
• 综述训练策略、应用及与提示相关的挑战，以指引未来研究。
• 提供精选资源和结构化的分类体系，帮助新手进入基于提示的NLP研究。

提出的方法

• 给出将提示描述为三步过程的正式表述：提示添加、答案搜索、答案映射。
• 定义一个统一记号，涵盖完形填空(cloze)和前缀提示，以及Z值答案空间。
• 按提示形状（完形填空 vs. 前缀）、手动 vs. 自动提示学习，以及离散提示 vs. 连续提示对提示方法进行分类。
• 按训练目标、噪声化和方向性对预训练语言模型家族进行调查，以评估其对提示的适用性。
• 系统性地评估设计考量（提示工程、答案工程、多提示学习）与训练策略（无提示微调、无调优提示、提示/语言模型微调）。
• 总结广泛的应用场景（分类、信息抽取、问答、生成、多模态），并将其与提示选择联系起来。
• 提供元分析洞察和时间线，以突出领域内的趋势和可迁移性。
• 提供资源，如 NLPedia–Pretrain 及相关分类法，以帮助初学者入门。

实验结果

研究问题

• RQ1 统一基于提示的NLP方法的核心概念与数学形式主义有哪些？
• RQ2 提示策略如何在不同任务中与不同的预训练语言模型及目标相互作用？
• RQ3 影响提示性能的主要设计选择（提示、答案空间、训练策略）有哪些？
• RQ4 基于提示的NLP当前的应用、挑战与研究方向有哪些？
• RQ5 哪些资源可以支持研究人员和新手进入提示范式？

主要发现

• 基于提示的学习通过将任务重新表述为对预训练语言模型的提示问题来实现少样本或零样本自适应。
• 支撑提示的两个主要转变是：（i）利用大规模无监督预训练，以及（ii）通过提示重新表述下游任务以在无任务特定监督的情况下引导模型行为。
• 提示可以是完形填空或前缀形状，并且可以是手动或自动学习（离散提示 vs. 连续提示）。
• 不同的预训练语言模型家族（从左到右、掩蔽、前缀/编码器-解码器）与不同的提示设计和下游任务相匹配。
• 多提示和提示组合技术进一步增强跨任务的鲁棒性和覆盖范围。
• 该综述概述了训练策略（无提示微调、无调优提示、提示/语言模型微调），并将提示方法与广泛的NLP任务与评估挑战联系起来。