[论文解读] Translating Phrases in Neural Machine Translation

Xing Wang, Zhaopeng Tu+2 more|arXiv (Cornell University)|Aug 7, 2017

Natural Language Processing Techniques参考文献 43被引用 11

一句话总结

该论文提出了一种新颖的神经机器翻译模型，通过引入由短语基于SMT系统增强的短语记忆，实现在NMT中的短语级翻译。通过利用NMT上下文动态生成目标短语，并借助平衡器对短语进行评分，该模型提升了翻译质量，在中英翻译任务中相比标准注意力机制NMT提升了1.07 BLEU分数。

ABSTRACT

Phrases play an important role in natural language understanding and machine translation (Sag et al., 2002; Villavicencio et al., 2005). However, it is difficult to integrate them into current neural machine translation (NMT) which reads and generates sentences word by word. In this work, we propose a method to translate phrases in NMT by integrating a phrase memory storing target phrases from a phrase-based statistical machine translation (SMT) system into the encoder-decoder architecture of NMT. At each decoding step, the phrase memory is first re-written by the SMT model, which dynamically generates relevant target phrases with contextual information provided by the NMT model. Then the proposed model reads the phrase memory to make probability estimations for all phrases in the phrase memory. If phrase generation is carried on, the NMT decoder selects an appropriate phrase from the memory to perform phrase translation and updates its decoding state by consuming the words in the selected phrase. Otherwise, the NMT decoder generates a word from the vocabulary as the general NMT decoder does. Experiment results on the Chinese to English translation show that the proposed model achieves significant improvements over the baseline on various test sets.

研究动机与目标

• 为解决标准NMT在处理多词短语方面的局限性，而多词短语对准确翻译至关重要。
• 通过整合基于短语的SMT系统中的符号化短语表示，实现在NMT中的短语级生成。
• 通过利用结构和上下文信息，提升NMT对低频或复杂短语的翻译能力。
• 通过引入动态短语记忆和短语与词生成之间的平衡机制，增强解码过程中的短语选择能力。
• 探索将语言结构（句法短语）整合到NMT编码器中，以改善短语表征。

提出的方法

• 引入短语记忆以符号形式存储目标端的短语，并在每个解码步骤由SMT模型动态更新。
• SMT模型基于NMT解码器提供的上下文线索（使用注意力感知的隐藏状态）生成相关的目标短语。
• NMT解码器使用平衡器对记忆中的短语进行评分，该平衡器计算短语生成与词生成之间的概率估计。
• 若短语生成能带来最高概率，则选择该短语生成，随后通过消耗所选短语中的词来更新状态。
• 修改NMT编码器以整合句法短语信息，从而丰富源端表示，提升短语检测能力。
• 模型在编码器和解码器中均使用门控循环单元（GRU），并通过注意力机制计算上下文向量。

实验结果

研究问题

• RQ1 神经机器翻译能否被增强以有效生成多词短语，而非仅逐词生成？
• RQ2 如何将基于短语的SMT知识动态集成到基于注意力的NMT框架中？
• RQ3 在NMT编码器中引入句法短语信息是否能提升短语翻译性能？
• RQ4 具有SMT引导更新的动态短语记忆是否能在处理罕见或复杂短语时优于标准NMT？
• RQ5 平衡短语与词生成对整体翻译质量有何影响？

主要发现

• 所提出的模型在多个NIST中文-英文翻译测试集上，相比基线注意力机制NMT，实现了显著的1.07 BLEU分数提升。
• 将SMT生成的短语集成到动态短语记忆中，显著改善了对多词表达和低频短语的处理能力。
• 在编码器中引入句法短语信息，增强了模型检测和正确翻译短语的能力。
• 平衡器机制成功实现了短语与词生成之间的平衡，使模型能根据上下文和概率自适应地切换。
• 在翻译复杂且非组合性的短语方面，该模型优于标准NMT，这些短语难以从单个词义推断。
• 结果表明，通过动态短语记忆将NMT与SMT结合，是一种可行且有效的提升翻译质量的方法。