[论文解读] Z-ICL: Zero-Shot In-Context Learning with Pseudo-Demonstrations

Xinxi Lyu, Sewon Min+3 more|arXiv (Cornell University)|Dec 19, 2022

Domain Adaptation and Few-Shot Learning被引用 8

一句话总结

Z-icl 提出了一种零样本上下文学习方法，通过使用最近邻检索和同义词标注，从原始文本语料库中构建伪示范，以提升零样本性能。该方法在九个文本分类数据集上实现了与少样本上下文学习相当的性能，显著优于以往的零样本基线模型，且无需提示工程或标注数据。

ABSTRACT

Although large language models can be prompted for both zero- and few-shot learning, performance drops significantly when no demonstrations are available. In this paper, we introduce Z-ICL, a new zero-shot method that closes the gap by constructing pseudo-demonstrations for a given test input using a raw text corpus. Concretely, pseudo-demonstrations are constructed by (1) finding the nearest neighbors to the test input from the corpus and pairing them with random task labels, and (2) applying a set of techniques to reduce the amount of direct copying the model does from the resulting demonstrations. Evaluation on nine classification datasets shows that Z-ICL outperforms previous zero-shot methods by a significant margin, and is on par with in-context learning with labeled training data in the few-shot setting. Overall, Z-ICL provides a significantly higher estimate of the zero-shot performance levels of a model, and supports future efforts to develop better pseudo-demonstrations that further improve zero-shot results.

研究动机与目标

• 为解决大语言模型零样本能力被低估的问题，通过无标注数据构建有意义的伪示范。
• 通过模拟少样本示范通常提供的输入分布和标签空间，提升零样本性能。
• 通过新颖的构建技术，减少模型对高度相似示范输入的直接复制倾向。
• 证明通过更精心设计的伪示范，可显著提升零样本性能。
• 为构建高质量伪示范开辟新的研究方向，以充分释放预训练模型的上下文学习潜力。

提出的方法

• 使用语义相似度从原始文本语料库中检索 k 个最近邻，作为伪示范的基础。
• 将每个检索到的句子与任务标签的一个随机同义词配对（例如，'great' 与 'good' 配对），以减少直接的标签复制。
• 使用最近邻的物理邻居（语料库中相邻的句子）而非最近邻本身，以多样化输入分布。
• 应用同义词标注以打破测试输入与示范标签之间的词汇相似性，最小化记忆效应。
• 将语言模型条件化为以上下文学习格式组织的输入-标签对序列，保持一致的示范结构。
• 采用基于检索的方法，无需标注训练数据，仅依赖无标注文本语料库。

实验结果

研究问题

• RQ1 能否通过从无标注语料库中构建伪示范，显著提升大语言模型的零样本性能？
• RQ2 模拟输入分布和标签空间的伪示范在多大程度上能提升零样本性能？
• RQ3 在零样本上下文学习中，如何缓解模型过度依赖语义相似示范输入的复制效应？
• RQ4 即使略微扩展语料库覆盖范围，是否能带来可测量的零样本泛化性能提升？
• RQ5 伪示范带来的性能提升是源于输入-标签对的格式，还是仅仅因为存在相关上下文？

主要发现

• Z-icl 在九个文本分类数据集上显著优于以往的零样本基线模型，表明零样本能力得到显著提升。
• Z-icl 实现了与使用真实 k 个样本标注示范的上下文学习相当的性能，表明模型的零样本潜力此前被严重低估。
• 消融实验确认，输入-标签对格式以及所提出的两种技术——物理邻居选择和同义词标注——对实现最佳性能均至关重要。
• 随着语料库规模减小，性能下降明显，当语料库缩小至原始大小的 0.03% 时，准确率出现显著下降，表明对语料库覆盖范围和大小敏感。
• 将语料库扩展至包含额外领域（如增加 2% 的 IMDB 评论）可一致提升对先前未覆盖数据集的性能，表明覆盖范围是关键因素。
• 仅使用输入的变体（'Inputs-only'），即仅基于检索句子而不带标签进行条件化，性能显著低于 Z-icl，证明输入-标签对格式对性能至关重要。