[论文解读] Universal Natural Language Processing with Limited Annotations: Try Few-shot Textual Entailment as a Start

Wenpeng Yin, Nazneen Fatema Rajani+3 more|arXiv (Cornell University)|Oct 6, 2020

Topic Modeling参考文献 36被引用 4

一句话总结

本文提出 UFO-Entail，一种少样本文本蕴涵框架，通过仅使用少量特定任务的示例微调预训练的 RoBERTa 模型，实现在开放域自然语言处理任务中的泛化。该方法在跨域蕴涵任务以及下游任务（如问答和共指消解）中表现强劲，即使在标注数据极少的情况下，某些情况下甚至优于全样本基线模型，证明了文本蕴涵作为低资源自然语言处理场景下可行统一解法的潜力。

ABSTRACT

A standard way to address different NLP problems is by first constructing a problem-specific dataset, then building a model to fit this dataset. To build the ultimate artificial intelligence, we desire a single machine that can handle diverse new problems, for which task-specific annotations are limited. We bring up textual entailment as a unified solver for such NLP problems. However, current research of textual entailment has not spilled much ink on the following questions: (i) How well does a pretrained textual entailment system generalize across domains with only a handful of domain-specific examples? and (ii) When is it worth transforming an NLP task into textual entailment? We argue that the transforming is unnecessary if we can obtain rich annotations for this task. Textual entailment really matters particularly when the target NLP task has insufficient annotations. Universal NLP can be probably achieved through different routines. In this work, we introduce Universal Few-shot textual Entailment (UFO-Entail). We demonstrate that this framework enables a pretrained entailment model to work well on new entailment domains in a few-shot setting, and show its effectiveness as a unified solver for several downstream NLP tasks such as question answering and coreference resolution when the end-task annotations are limited. Code: https://github.com/salesforce/UniversalFewShotNLP

研究动机与目标

• 为解决在低资源或开放域设置中部署自然语言处理模型时，特定任务标注数据稀缺的挑战。
• 探究在缺乏丰富标注数据的情况下，文本蕴涵是否可作为多样化自然语言处理任务的统一框架。
• 开发一种少样本学习系统，仅使用少量标注示例即可在新领域和新任务上实现良好泛化。
• 评估将自然语言处理任务重新表述为文本蕴涵问题是否能在低数据环境下提升性能。

提出的方法

• 微调在 MNLI 上预训练的 RoBERTa 模型作为基础蕴涵分类器。
• 引入跨任务最近邻模块，仅使用少量标注示例，将源（MNLI）领域与目标领域的表征对齐。
• 采用受原型网络启发的基于度量的元学习方法，以少量示例适应新任务。
• 利用大规模通用蕴涵数据集（MNLI）的间接监督，提升零样本和少样本泛化能力。
• 通过将问题回答和共指消解等多样化自然语言处理任务转化为（前提，假设）对的形式，将其转化为文本蕴涵任务。
• 在通用 MNLI 数据与少量特定任务示例的组合上端到端训练模型，以提升领域适应能力。

实验结果

研究问题

• RQ1 预训练的文本蕴涵模型在仅使用少量标注示例的情况下，能在多大程度上泛化到新领域？
• RQ2 在什么情况下将下游自然语言处理任务重新表述为文本蕴涵问题是有益的？
• RQ3 能否仅使用极少的任务特定数据，有效将单一在通用数据集（如 MNLI）上训练的蕴涵模型适配到多样化的自然语言处理任务中？
• RQ4 当标注数据稀缺时，少样本文本蕴涵是否优于特定任务的微调方法？

主要发现

• 在 RTE 基准测试中，UFO-Entail 仅使用 10 个样本即达到 85.28% 的准确率，优于在目标数据上微调的全样本基线（85.28% vs. 80.00%）。
• 在 GAP 数据集上的共指消解任务中，UFO-Entail 仅使用 40% 的数据即可达到与使用 100% 训练集的全量数据基线相当的性能，而传统非蕴涵基线模型需使用 100% 数据才能达到同等水平。
• 在 SciTail 基准测试中，UFO-Entail 相较于其他 10 个样本的基线模型性能提升约 4%，展现出强大的少样本泛化能力。
• 在问答任务中，UFO-Entail 相较于其他 10 个样本方法性能提升约 6%，表明在各类任务中均具有一致性增益。
• 当训练数据有限（尤其是低于完整数据集的 30% 时），基于蕴涵的方法收敛更快且性能更优，相较于直接分类方法表现更佳。
• 该系统在 MNLI 上预训练，并通过每项任务仅少量示例进行适应，能有效泛化到跨领域蕴涵基准和多样化自然语言处理任务，验证了其作为通用解法的有效性。