[论文解读] Neural Phrase-based Machine Translation

Po-Sen Huang, Chong Wang+2 more|arXiv (Cornell University)|Jun 17, 2017

Natural Language Processing Techniques参考文献 10被引用 24

一句话总结

本文提出神经短语基机器翻译（NPMT），采用睡眠-唤醒网络（SWAN）显式建模神经机器翻译中的短语结构，并引入软局部重排序层以缓解SWAN的单调对齐约束。NPMT在IWSLT 2014德语-英语翻译任务上取得了最先进性能，且无需注意力机制，同时生成语义明确的短语级输出。

ABSTRACT

In this paper, we propose Neural Phrase-based Machine Translation (NPMT). Our method explicitly models the phrase structures in output sequences through Sleep-WAke Networks (SWAN), a recently proposed segmentationbased sequence modeling method. To alleviate the monotonic alignment requirement of SWAN, we introduce a new layer to perform (soft) local reordering of input sequences. Our experiments show that NPMT achieves state-of-the-art results on IWSLT 2014 German-English translation task without using any attention mechanisms. We also observe that our method produces meaningful phrases in the output language.

研究动机与目标

• 通过在输出序列中显式建模短语结构，提升神经机器翻译性能。
• 解决睡眠-唤醒网络（SWAN）在序列建模中单调对齐约束的局限性。
• 开发一种生成语义有意义短语的短语基神经翻译系统。
• 在不依赖注意力机制的前提下实现具有竞争力的翻译性能。

提出的方法

• NPMT采用睡眠-唤醒网络（SWAN），一种基于分割的序列建模方法，以捕捉翻译输出中的短语级结构。
• 引入一种新颖的软局部重排序层，以缓解SWAN严格单调对齐约束，提升输入序列处理的灵活性。
• 将短语感知建模直接整合到解码过程中，实现多词表达的结构化生成。
• 采用标准序列到序列目标端到端训练模型，无需外部注意力模块。

实验结果

研究问题

• RQ1 能否通过基于分割的序列建模方法在神经机器翻译中有效建模短语结构？
• RQ2 放松SWAN中的单调对齐约束是否能提升翻译性能？
• RQ3 不使用注意力机制的短语基神经翻译系统能否取得优异表现？
• RQ4 生成的输出是否包含语义上合理的短语？

主要发现

• NPMT在IWSLT 2014德语-英语翻译基准上取得了最先进结果，且未使用任何注意力机制。
• 模型在输出语言中生成了有意义且连贯的短语，表明其具备有效的短语级学习能力。
• 软局部重排序层成功缓解了SWAN中单调对齐的僵化问题，提升了建模灵活性。
• 通过SWAN实现的短语基建模使翻译输出更具结构性与可解释性。