[论文解读] Paraphrase Generation as Zero-Shot Multilingual Translation: Disentangling Semantic Similarity from Lexical and Syntactic Diversity

Brian J. Thompson, Matt Post|arXiv (Cornell University)|Aug 11, 2020

Natural Language Processing Techniques被引用 23

一句话总结

本文提出一种使用多语言神经机器翻译（NMT）模型的零样本释义生成方法，通过在解码过程中对输入句中已存在的n-gram进行惩罚来控制词汇多样性。该方法可在多种语言中生成高质量的释义，在与词汇多样性水平相当的情况下，其在语义相似度和语法正确性方面的人工评估表现优于强大的仅英语基线模型。

ABSTRACT

Recent work has shown that a multilingual neural machine translation (NMT) model can be used to judge how well a sentence paraphrases another sentence in the same language (Thompson and Post, 2020); however, attempting to generate paraphrases from such a model using standard beam search produces trivial copies or near copies. We introduce a simple paraphrase generation algorithm which discourages the production of n-grams that are present in the input. Our approach enables paraphrase generation in many languages from a single multilingual NMT model. Furthermore, the amount of lexical diversity between the input and output can be controlled at generation time. We conduct a human evaluation to compare our method to a paraphraser trained on the large English synthetic paraphrase database ParaBank 2 (Hu et al., 2019c) and find that our method produces paraphrases that better preserve meaning and are more gramatical, for the same level of lexical diversity. Additional smaller human assessments demonstrate our approach also works in two non-English languages.

研究动机与目标

• 解决使用单一多语言NMT模型在多种语言中生成非平凡、语义相似释义的挑战。
• 克服由双语语料库生成的合成释义数据所引入的局限性，这些局限性可能因语言特异性歧义（如性别、句法）而产生错误。
• 在生成过程中实现对词汇多样性的细粒度控制，且独立于流畅性和语义相似度建模。
• 证明单一多语言NMT模型可作为多种语言（包括非英语语言）的稳健零样本释义器。
• 通过将生成过程与语义相似度建模的训练解耦，减少流畅性与多样性建模之间的相互依赖。

提出的方法

• 该方法使用经过微调的多语言NMT模型进行零样本释义生成，将释义视为同一语言中从句子到自身的翻译任务。
• 引入一种软约束机制，若解码输出中的子词标记完成输入句中已存在的n-gram（n=1至4），则动态降低其权重。
• 惩罚通过一个在推理时应用的动态惩罚函数实现，该函数将已生成标记的前缀映射到应被抑制的子词，基于输入中的n-gram。
• 通过从可能完成匹配n-gram的子词的对数概率中减去一个可学习超参数α来实现惩罚，但不完全禁止这些子词。
• 该方法允许用户通过调整惩罚强度α，在生成时控制词汇多样性。
• 该方法利用多语言编码器的中间表示，保留了跨语言的语义和句法特征（如性别），从而减少因使用模糊的中间语言而引入的错误。

实验结果

研究问题

• RQ1 多语言NMT模型是否可在未在释义数据上进行微调的情况下，有效用于零样本释义生成？
• RQ2 在解码过程中对输入n-gram施加惩罚，是否能生成更具多样性、非平凡的释义，同时保持语义相似度和语法正确性？
• RQ3 是否可以使用单一模型在推理时控制生成释义中的词汇多样性水平？
• RQ4 该方法是否在语义保真度和语法正确性方面优于在大规模合成释义数据集上训练的强基线模型？
• RQ5 该方法在多大程度上减轻了在合成释义数据创建过程中由语言特异性歧义引入的错误？

主要发现

• 人工评估显示，当与词汇多样性水平匹配时，所提方法生成的释义在语义相似度方面显著优于在ParaBank 2中生成的5000万条合成示例上训练的强英语基线模型，且语法正确性略有提升。
• 该方法在德语和西班牙语中也表现出色，人工评估结果显示其语义相似度和语法正确性与英语相当，表明具备跨语言泛化能力。
• 该方法通过在多语言编码器表示中保留语义特征，有效缓解了由模糊中间语言（如从无性别语言到有性别语言的翻译中出现的性别不匹配）引起的错误。
• 该方法可在生成时实现对词汇多样性的控制，使用户能够在不重新训练的情况下调节新颖性与语义保真度之间的权衡。
• 该模型不仅在质量上优于基于合成数据的基线模型，而且在鲁棒性方面也更优，因为它避开了合成释义数据生成过程中引入的错误。
• 作者已将代码发布于 https://github.com/thompsonb/prism，支持可复现性，并推动多语言零样本释义生成的进一步研究。