[论文解读] Several Experiments on Investigating Pretraining and Knowledge-Enhanced Models for Natural Language Inference

Tianda Li, Xiaodan Zhu+4 more|arXiv (Cornell University)|Apr 27, 2019

Natural Language Processing Techniques被引用 9

一句话总结

本文研究了无监督预训练以及来自人工标注资源的外部知识对自然语言蕴涵（NLI）性能的影响。结果表明，BERT及其类似模型能从大规模文本中学习到诸如同义词和上下位词等有用的蕴涵语义，而基于WordNet的知识增强模型（KIM）则能捕捉到诸如反义词和同源词等词汇关系。关键发现是这两种方法具有互补性：在域内数据上，BERT的表现优于KIM；而在需要显式词汇知识（预训练未学习到的知识）的任务中，KIM表现更优。

ABSTRACT

Natural language inference (NLI) is among the most challenging tasks in natural language understanding. Recent work on unsupervised pretraining that leverages unsupervised signals such as language-model and sentence prediction objectives has shown to be very effective on a wide range of NLP problems. It would still be desirable to further understand how it helps NLI; e.g., if it learns artifacts in data annotation or instead learn true inference knowledge. In addition, external knowledge that does not exist in the limited amount of NLI training data may be added to NLI models in two typical ways, e.g., from human-created resources or an unsupervised pretraining paradigm. We runs several experiments here to investigate whether they help NLI in the same way, and if not,how?

研究动机与目标

• 探究无监督预训练模型（如BERT）是否真正学习了蕴涵语义，还是仅仅利用了NLI数据集中存在的数据特征。
• 评估基于人工标注词汇资源（如WordNet）的知识增强模型（KIM）在NLI任务中的有效性。
• 比较基于预训练的模型（如BERT、GPT）与知识增强模型（KIM）在域内和域外NLI基准测试中的性能表现。
• 分析一种模型优于另一种模型的案例，识别出每种方法在何种情况下表现更优或更差。
• 探索结合预训练与外部知识以提升NLI泛化能力的潜力。

提出的方法

• 作者在SNLI和MultiNLI数据集上对BERT、GPT以及若干基线模型（ESIM、DenseNet+DynAtt）进行微调。
• 他们训练了一种知识增强模型（KIM），将来自WordNet的词汇关系（包括同义词、反义词和上下位词）整合到NLI预测过程中。
• 他们采用替换评估方法和压力测试数据集（Glockner和Naik）来评估模型的鲁棒性，并检测其对数据特征的依赖。
• 他们对那些一种模型正确而另一种错误的句子对进行案例研究，分析词对关系在预测中的作用。
• 他们比较了模型在域内（SNLI、MultiNLI）和域外测试集上的表现，以评估泛化能力。
• 他们使用一种“最优模型”（oracle model）结合BERT和KIM的预测结果，以评估模型集成可能带来的性能增益。

实验结果

研究问题

• RQ1 无监督预训练（如BERT）是否真正学习了蕴涵语义，还是仅仅利用了NLI数据集中的人工标注特征？
• RQ2 基于WordNet词汇关系的知识增强模型（KIM）在NLI性能上与基于预训练的模型相比如何？
• RQ3 在哪些类型的NLI样本中，KIM优于BERT，反之亦然？
• RQ4 基于预训练的模型与知识增强模型是否在捕捉不同类型蕴涵知识方面具有互补性？
• RQ5 结合预训练与外部知识是否能提升NLI在域外数据上的泛化能力？

主要发现

• 在域内NLI基准测试（SNLI和MultiNLI）中，BERT的表现优于KIM，达到单一模型的最高性能。
• 在需要显式词汇知识（如反义词和同义词）的样本中，KIM比BERT更准确，这些知识在WordNet中已被编码。
• 在BERT正确而KIM错误的案例中，词对关系（如“sun-lit”与“moon-lit”）通常未出现在WordNet中，但通过在大规模语料上的预训练被学习到。
• 在KIM正确而BERT错误的案例中，所需的词对关系（如“sun-lit”与“moon-lit”）存在于WordNet中，表明KIM在利用结构化词汇知识方面具有优势。
• 两种模型在域外测试集上的性能均有所下降，但BERT优于KIM的相对排名保持一致。
• 结合BERT和KIM的最优模型性能高于任一模型单独使用，证明了两种方法具有互补性。