[论文解读] Self-Generated In-Context Learning: Leveraging Auto-regressive Language Models as a Demonstration Generator

Hyuhng Joon Kim, Hyunsoo Cho+4 more|arXiv (Cornell University)|Jun 16, 2022

Topic Modeling被引用 9

一句话总结

本文提出自生成上下文学习（SG-ICL），一种利用自回归语言模型生成高质量、输入相关的演示样本进行上下文学习的方法，无需依赖外部训练数据。SG-ICL 显著优于零样本学习，其性能在经验上等价于每个样本约 0.6 个优质训练样本的水平，同时相比随机选择的演示样本表现出更低的性能方差。

ABSTRACT

Large-scale pre-trained language models (PLMs) are well-known for being capable of solving a task simply by conditioning a few input-label pairs dubbed demonstrations on a prompt without being explicitly tuned for the desired downstream task. Such a process (i.e., in-context learning), however, naturally leads to high reliance on the demonstrations which are usually selected from external datasets. In this paper, we propose self-generated in-context learning (SG-ICL), which generates demonstrations for in-context learning from PLM itself to minimize the reliance on the external demonstration. We conduct experiments on four different text classification tasks and show SG-ICL significantly outperforms zero-shot learning and is generally worth approximately 0.6 gold training samples. Moreover, our generated demonstrations show more consistent performance with low variance compared to randomly selected demonstrations from the training dataset.

研究动机与目标

• 通过内部生成演示来减少上下文学习对外部训练数据的依赖。
• 探究自回归语言模型是否能够生成高相关性、与任务相关的演示样本，以提升少样本学习性能。
• 评估自生演示样本与随机选择的真实演示样本相比的稳定性和有效性。
• 量化自生上下文样本相对于真实训练样本的性能等价性。

提出的方法

• SG-ICL 采用两步流程：自生成与推理，其中演示样本通过同时基于输入和类别标签进行提示模板条件生成。
• 在自生成阶段，使用人工设计的提示模板，利用预训练语言模型为每个类别生成输入相关的演示样本。
• 生成的演示样本随后在推理阶段被重用以进行上下文学习，从而消除对外部训练数据的需求。
• 该方法利用大语言模型的生成能力，产生语义相关、任务特定的示例，从而提升下游性能。
• 性能通过标准自然语言理解基准进行评估，使用余弦相似度衡量输入与生成演示之间的相关性。
• 该方法在四个文本分类任务上进行了评估：情感分类（SST-2, SST-5）和自然语言蕴涵（MNLI, RTE）

实验结果

研究问题

• RQ1 能否通过内部生成演示样本来实现上下文学习，而无需依赖外部训练数据？
• RQ2 在生成过程中同时基于输入实例进行条件控制，如何影响生成演示的质量与相关性？
• RQ3 自生演示样本的性能与从训练集中随机选择的真实演示样本相比如何？
• RQ4 在性能提升方面，一个自生上下文样本相当于多少个真实训练样本？

主要发现

• SG-ICL 在所有四个评估的文本分类任务中均显著优于零样本学习。
• SG-ICL 展现出较低的性能方差，在稳定性方面优于随机选择的真实演示样本。
• 同时基于输入和类别进行条件控制，可使生成演示与输入的余弦相似度比仅基于类别的条件控制高出 3–4 倍。
• 一个自生上下文样本在经验上等价于约 0.6 个优质训练样本的性能增益。
• 在 SST-2 和 SST-5 上，使用 8 个自生样本的 SG-ICL 表现优于使用最多 5 个真实训练样本的少样本学习。
• 该方法在推理过程中无需访问任何训练数据，即可实现一致的性能提升。