[论文解读] Pushing the Limits of Paraphrastic Sentence Embeddings with Millions of Machine Translations

John Wieting, Kevin Gimpel|arXiv (Cornell University)|Nov 15, 2017

Topic Modeling参考文献 38被引用 23

一句话总结

本文介绍了 ParaNMT-50M，一个通过大规模平行语料库的回译生成的 5100 万对英语-英语释义对的数据集。利用该语料库，作者训练了释义句向量，其在 SemEval STS 基准测试中优于所有先前的监督系统，并在捕捉不同文本风格和结构之间的语义相似性方面达到最先进水平。

ABSTRACT

We extend the work of Wieting et al. (2017), back-translating a large parallel corpus to produce a dataset of more than 51 million English-English sentential paraphrase pairs in a dataset we call ParaNMT-50M. We find this corpus to be cover many domains and styles of text, in addition to being rich in paraphrases with different sentence structure, and we release it to the community. To show its utility, we use it to train paraphrastic sentence embeddings using only minor changes to the framework of Wieting et al. (2016b). The resulting embeddings outperform all supervised systems on every SemEval semantic textual similarity (STS) competition, and are a significant improvement in capturing paraphrastic similarity over all other sentence embeddings We also show that our embeddings perform competitively on general sentence embedding tasks. We release the corpus, pretrained sentence embeddings, and code to generate them. We believe the corpus can be a valuable resource for automatic paraphrase generation and can provide a rich source of semantic information to improve downstream natural language understanding tasks.

研究动机与目标

• 创建一个大规模、多样化且高质量的释义数据集，覆盖多个领域和文本风格。
• 在现有监督方法的基础上，提升句向量在捕捉释义相似性方面的能力。
• 证明回译在无需人工标注的情况下，可用于生成大规模释义数据。
• 发布一个资源，以支持自动释义生成并增强下游自然语言理解任务。

提出的方法

• 通过大规模单语平行语料库的回译，生成合成的英语-英语释义对。
• 在 Wieting 等人（2016b）的框架基础上进行小幅修改，以训练释义句向量。
• 利用生成的 5100 万对释义对，在大规模、多样化文本分布上预训练句向量。
• 采用相同的训练流程，在释义和通用句向量任务中均实现优异性能。
• 发布完整的 ParaNMT-50M 数据集、预训练句向量及代码，以支持可复现性和社区使用。

实验结果

研究问题

• RQ1 大规模平行语料库的回译能否生成高质量、大规模的释义数据集，以用于训练鲁棒的句向量？
• RQ2 在语义文本相似性任务中，基于 ParaNMT-50M 训练的句向量性能与现有监督系统相比如何？
• RQ3 ParaNMT-50M 中文本风格和领域的多样性在多大程度上提升了句向量的泛化能力？
• RQ4 所提出的句向量能否在释义任务之外的通用句向量基准测试中实现具有竞争力的性能？

主要发现

• ParaNMT-50M 数据集包含超过 5100 万对英语-英语释义对，覆盖多样化的领域和文本风格。
• 在所有 SemEval STS 竞赛任务中，基于 ParaNMT-50M 训练的句向量均优于所有先前的监督系统。
• 与所有其他句向量模型相比，该句向量在捕捉释义相似性方面实现了显著提升。
• 在通用句向量任务中，该句向量表现具有竞争力，表明其具备广泛适用性。
• 数据集、预训练句向量及代码的发布，使得其在释义生成和下游自然语言理解应用中得以广泛应用。