[论文解读] ProtAugment: Unsupervised diverse short-texts paraphrasing for intent detection meta-learning

Thomas Dopierre, Christophe Gravier+1 more|arXiv (Cornell University)|May 27, 2021

Topic Modeling参考文献 38被引用 8

一句话总结

ProtAugment 提出了一种无监督、元学习的少样本意图检测框架，通过多样化的无监督改写方式增强原型网络。通过在无标签数据上对微调的去噪自编码器应用受限的多样化束搜索，引入了一致性损失以减少过拟合，在无需额外标注或领域特定微调的情况下实现了最先进性能，在1-shot设置下相比之前方法最高提升5.27分。

ABSTRACT

Recent research considers few-shot intent detection as a meta-learning problem: the model is learning to learn from a consecutive set of small tasks named episodes. In this work, we propose ProtAugment, a meta-learning algorithm for short texts classification (the intent detection task). ProtAugment is a novel extension of Prototypical Networks, that limits overfitting on the bias introduced by the few-shots classification objective at each episode. It relies on diverse paraphrasing: a conditional language model is first fine-tuned for paraphrasing, and diversity is later introduced at the decoding stage at each meta-learning episode. The diverse paraphrasing is unsupervised as it is applied to unlabelled data, and then fueled to the Prototypical Network training objective as a consistency loss. ProtAugment is the state-of-the-art method for intent detection meta-learning, at no extra labeling efforts and without the need to fine-tune a conditional language model on a given application domain.

研究动机与目标

• 解决在标注数据有限的低资源、领域特定对话代理中少样本意图检测的挑战。
• 克服因短文本分类中少数样本分布偏差导致的元学习过拟合问题。
• 通过无监督数据增强实现多样化改写，提升原型网络的表征鲁棒性。
• 开发一种可扩展、领域无关的方法，避免为每个应用领域微调条件语言模型。
• 在无需额外标注努力的情况下，实现少样本意图检测的最先进性能。

提出的方法

• 在序列到序列任务上预训练的去噪自编码器基础上，对无标签短文本进行微调，以生成改写文本。
• 在解码过程中应用受限的多样化束搜索，生成既多样化又与原始输入语义不同的改写。
• 通过在原型网络框架中强制模型对原始输入与改写输入保持不变性，引入一致性损失。
• 在解码过程中使用掩码策略，通过防止从输入句中重复使用词元来进一步提升多样性。
• 端到端训练模型，结合元学习分类损失与无监督改写一致性损失。
• 在无需领域特定适配的情况下，将该方法以零样本方式应用于多个数据集。

实验结果

研究问题

• RQ1 无监督、多样化的改写能否在低资源设置下提升少样本意图检测性能？
• RQ2 通过受限解码引入改写生成的多样性，是否能超越标准束搜索，提升模型泛化能力？
• RQ3 是否可以有效使用单一预训练语言模型，而无需为每个应用领域进行微调？
• RQ4 通过改写实现的无监督数据增强，在短文本分类的元学习中在多大程度上能减少过拟合？
• RQ5 当标注数据极度有限时，ProtAugment 与有监督基线相比表现如何？

主要发现

• 在1-shot场景下，ProtAugment 在四个公开数据集上平均提升原型网络5.27分，且无需额外标注成本。
• 在5-shot场景下，其平均性能相比基线提升2.85分。
• 仅使用每类10个标注样本（低配置）时，ProtAugment 的性能已超过使用完整训练集（全配置）的完全监督基线。
• 该方法比原始原型网络更稳定，各次运行的标准差显著更低。
• 受限多样化束搜索中的unigram掩码策略相比原始多样化束搜索，性能最高提升2分。
• 模型在不同数据集上表现稳健，Clinic数据集明显更简单，且在数据不平衡情况下仍保持一致的性能增益。