[论文解读] When Low Resource NLP Meets Unsupervised Language Model: Meta-pretraining Then Meta-learning for Few-shot Text Classification

Shumin Deng, Ningyu Zhang+3 more|arXiv (Cornell University)|Aug 22, 2019

Topic Modeling参考文献 21被引用 11

一句话总结

该论文提出了一种元预训练再元学习（MTM）框架，通过将无监督语言模型预训练与元学习相结合，提升低资源环境下少样本文本分类的性能。通过解耦通用任务与特定任务的表征，MTM在ARSC基准上实现了90.01%的准确率，显著优于先前方法。

ABSTRACT

Text classification tends to be difficult when data are deficient or when it is required to adapt to unseen classes. In such challenging scenarios, recent studies have often used meta-learning to simulate the few-shot task, thus negating implicit common linguistic features across tasks. This paper addresses such problems using meta-learning and unsupervised language models. Our approach is based on the insight that having a good generalization from a few examples relies on both a generic model initialization and an effective strategy for adapting this model to newly arising tasks. We show that our approach is not only simple but also produces a state-of-the-art performance on a well-studied sentiment classification dataset. It can thus be further suggested that pretraining could be a promising solution for few-shot learning of many other NLP tasks. The code and the dataset to replicate the experiments are made available at https://github.com/zxlzr/FewShotNLP.

研究动机与目标

• 为解决在标注数据稀缺且训练时未见过新类别的情况下，少样本文本分类的挑战。
• 通过显式解耦通用任务与特定任务的表征，提升低资源NLP中的模型泛化能力。
• 利用无监督语言模型实现更好的初始化与适应，以应对少样本学习场景。
• 开发一种简单但高效的方法，可在仅需极少标注数据的情况下，泛化至多样化的NLP任务。

提出的方法

• 该方法首先使用语言模型（如BERT）进行无监督预训练，从大规模原始语料中学习与任务无关的上下文表征。
• 随后采用元学习范式，通过支持集与查询集构建元训练任务，以模拟少样本学习场景。
• 通过两阶段优化进行训练：内循环在每个任务的支持集上适应模型，外循环利用测试集预测的梯度更新初始参数。
• 该方法明确分离通用特征学习（通过预训练）与特定任务适应（通过元学习），从而增强泛化能力。
• 框架采用基于梯度的元学习与双层优化：外层循环通过最小化所有任务上的元损失，更新模型初始权重。
• 该方法设计为与任务无关，可轻松适配至文本分类以外的其他NLP任务。

实验结果

研究问题

• RQ1 无监督语言模型预训练是否能提升低资源环境下少样本文本分类的性能？
• RQ2 将通用任务与特定任务的表征学习显式分离，是否能提升少样本学习中的泛化能力？
• RQ3 结合预训练表征的元学习是否能在基准数据集上超越现有少样本学习模型？
• RQ4 与当前最先进方法相比，所提出的MTM框架在少样本文本分类中的有效性如何？

主要发现

• MTM模型在ARSC基准上实现了90.01%的平均准确率，显著优于所有基线模型。
• 与表现最佳的基线模型Induction-Network-Routing相比，差异在配对t检验中具有统计显著性（p < 0.01）。
• 该模型展现出强大的泛化能力，在广泛研究的情感分类数据集上也达到了最先进性能。
• 结果验证了元预训练后接元学习能有效增强低资源NLP中的少样本学习能力。
• 即使每类仅提供五个支持样本，该方法仍表现出色，凸显其对数据稀缺的鲁棒性。