[论文解读] Supervised Learning of Universal Sentence Representations from Natural Language Inference Data

Alexis Conneau, Douwe Kiela+3 more|arXiv (Cornell University)|May 5, 2017

Topic Modeling参考文献 48被引用 2,056

一句话总结

作者展示在 SNLI 上以有监督方式训练的通用句子嵌入可以在广泛的迁移任务中超越无监督方法（如 SkipThought），其中使用 BiLSTM 最大池化编码器提供了最先进的结果。 在 SNLI 上进行训练可实现更快、高质量的可迁移句子表示。

ABSTRACT

Many modern NLP systems rely on word embeddings, previously trained in an unsupervised manner on large corpora, as base features. Efforts to obtain embeddings for larger chunks of text, such as sentences, have however not been so successful. Several attempts at learning unsupervised representations of sentences have not reached satisfactory enough performance to be widely adopted. In this paper, we show how universal sentence representations trained using the supervised data of the Stanford Natural Language Inference datasets can consistently outperform unsupervised methods like SkipThought vectors on a wide range of transfer tasks. Much like how computer vision uses ImageNet to obtain features, which can then be transferred to other tasks, our work tends to indicate the suitability of natural language inference for transfer learning to other NLP tasks. Our encoder is publicly available.

研究动机与目标

• 研究如何使用有监督数据来学习通用的句子编码器。
• 比较多种句子编码器架构，以确定哪种在任务间具有最佳迁移性。
• 证明在自然语言推理（SNLI）上的训练能获得比其他有监督或无监督方法更强的迁移性能。
• 评估训练和部署所提出的句子表示的效率与可行性。

提出的方法

• 在 SNLI 自然语言推理数据集上使用共享编码器训练句子编码器，以为前提和假设产生表示。
• 在编码后的句子对上应用三种匹配方法（拼接、逐元素乘积、绝对差）再送入 softmax 分类器以进行蕴含/矛盾/中性判断。
• 评估各种编码器架构（LSTM/GRU/BiLSTM，均值或最大池化，自注意力网络，分层卷积网络）以评估嵌入的迁移性。
• 固定词向量嵌入（GloVe），在上层使用逻辑回归训练分类器进行迁移评估。
• 使用 SentEval 自动化跨 12 个下游任务的迁移评估，包括二分类和多分类、蕴含、语义相关性，以及图像-字幕任务。

实验结果

研究问题

• RQ1 在 SNLI 上训练的有监督句子编码器是否可以提供可迁移至多样化 NLP 任务的通用表示？
• RQ2 在 SNLI 上训练时，哪种编码器架构最能保留可迁移的语义信息？
• RQ3 在迁移任务中，SNLI 的有监督训练是否优于其他有监督或无监督的句子表示学习方法？
• RQ4 嵌入维度大小如何影响不同架构的迁移性能？
• RQ5 数据多样性（如 SNLI 与 MultiNLI）对句子嵌入的泛化能力有何影响？

主要发现

• 在 SNLI 上训练的带最大池化的 BiLSTM 在多项任务上取得强大的迁移性能，在若干指标上优于无监督方法如 SkipThought。
• 在 SNLI 任务上表现最好的某些架构可能对任务偏差过拟合，从而在迁移任务上表现不佳，强调需要具备良好泛化能力的架构。
• 较大的嵌入维度通常提升若干模型的迁移性能，表明更丰富的表示有助于下游任务。
• 在迁移设置中，SNLI 训练的嵌入优于其他有监督任务训练的嵌入（如 COCO、词典定义、NMT），表明 NLI 捕获的语义结构具有高度的可迁移性。
• 在 SNLI 上训练（以及结合 MultiNLI 的 AllNLI）提升了对外域任务如 SICK-E 和 SICK-R 的性能，展示了跨体裁和领域的鲁棒性。
• 在图像-字幕检索中，SNLI 训练的 BiLSTM-max 嵌入实现了竞争性结果，在配合强视觉特征时接近甚至超越一些直接训练的基线。