[论文解读] Prompt Consistency for Zero-Shot Task Generalization

Chunting Zhou, Junxian He+3 more|arXiv (Cornell University)|Apr 29, 2022

Topic Modeling被引用 4

一句话总结

本文提出通过群体蒸馏实现提示一致性正则化，利用无标签数据提升大型语言模型在零样本提示任务中的泛化能力。通过鼓励对同一输入使用多个同义提示时预测结果的一致性，该方法在11个NLP基准中的9个上达到最先进性能，仅使用极少的标注数据和少量无标签样本，准确率最高提升10.6个百分点。

ABSTRACT

One of the most impressive results of recent NLP history is the ability of pre-trained language models to solve new tasks in a zero-shot setting. To achieve this, NLP tasks are framed as natural language prompts, generating a response indicating the predicted output. Nonetheless, the performance in such settings often lags far behind its supervised counterpart, suggesting a large space for potential improvement. In this paper, we explore methods to utilize unlabeled data to improve zero-shot performance. Specifically, we take advantage of the fact that multiple prompts can be used to specify a single task, and propose to regularize prompt consistency, encouraging consistent predictions over this diverse set of prompts. Our method makes it possible to fine-tune the model either with extra unlabeled training data, or directly on test input at inference time in an unsupervised manner. In experiments, our approach outperforms the state-of-the-art zero-shot learner, T0 (Sanh et al., 2022), on 9 out of 11 datasets across 4 NLP tasks by up to 10.6 absolute points in terms of accuracy. The gains are often attained with a small number of unlabeled examples.

研究动机与目标

• 在不依赖标注数据的前提下，提升预训练语言模型的零样本泛化能力。
• 解决模型预测对提示措辞敏感的问题，该问题限制了零样本性能。
• 开发一种无监督方法，利用无标签数据增强同一任务下多样化提示的鲁棒性。
• 通过参数高效微调和检查点选择，缓解无监督微调过程中的灾难性遗忘和模型崩溃问题。
• 在仅使用极少数据和计算资源的前提下，展示该方法在多样化NLP任务中的实用性与可扩展性。

提出的方法

• 该方法引入了一种成对蒸馏损失，对同一输入的多个同义提示的预测结果进行一致性正则化。
• 采用群体蒸馏，一种完全无监督的训练目标，利用无标签输入在多样化提示变体之间强制实现一致性。
• 该方法使用参数高效微调（如LoRA）仅更新一小部分参数，降低灾难性遗忘的风险。
• 基于Fleiss’ Kappa的无监督准则用于在模型陷入统一预测行为前选择模型检查点。
• 该方法在训练阶段结合无标签数据使用，并在推理阶段通过在无标签测试输入上进行测试时微调实现。
• 该方法与现有预训练模型兼容，可与其他目标（如掩码语言建模或少样本学习）结合使用。

实验结果

研究问题

• RQ1 提示一致性正则化是否能在不使用任何标注数据的情况下提升预训练语言模型的零样本泛化能力？
• RQ2 所提出的群体蒸馏方法在提升模型对多样化提示变体的鲁棒性方面效果如何？
• RQ3 实现显著性能提升所需的最少无标签数据量是多少？
• RQ4 该方法是否能有效应用于仅使用测试时无标签样本的推理阶段？
• RQ5 该方法与SOTA零样本学习器T0相比，在多样化NLP任务中的表现如何？

主要发现

• 所提出的群体蒸馏方法在11个数据集中的9个上优于SOTA零样本学习器T0，准确率最高提升10.6个百分点。
• 该方法仅使用10个无标签样本即实现显著性能提升，表明其数据和计算开销极低。
• 随着无标签数据量增加，性能迅速趋于饱和，表明该方法并非数据密集型，且具有高效扩展性。
• 即使在推理阶段直接对测试输入进行微调，该方法仍保持强大性能，支持有效的测试时适应。
• 将模型扩展至11B参数后性能进一步提升，该方法在所有4个评估数据集上均优于11B参数的T0模型。
• 该方法对提示变化具有鲁棒性，降低了对提示措辞的敏感性，展现出更强的泛化能力和一致性。