[论文解读] Recurrent Neural Machine Translation

Biao Zhang, Deyi Xiong+1 more|arXiv (Cornell University)|Jul 29, 2016

Natural Language Processing Techniques参考文献 26被引用 9

一句话总结

本文提出了一种循环神经机器翻译（RNMT）模型，该模型用一个上下文网络（contexter）替代了标准注意力机制。上下文网络是一个循环神经网络，其初始隐藏状态为目标序列的前一隐藏状态，输入为源序列的标注表示，从而更好地捕捉长期依赖关系。在中英翻译任务上的实验表明，RNMT在长句翻译上优于标准注意力机制的神经机器翻译模型，尤其在长句上表现更优，同时通过上下文网络组件隐式建模了对齐关系。

ABSTRACT

The vanilla attention-based neural machine translation has achieved promising performance because of its capability in leveraging varying-length source annotations. However, this model still suffers from failures in long sentence translation, for its incapability in capturing long-term dependencies. In this paper, we propose a novel recurrent neural machine translation (RNMT), which not only preserves the ability to model varying-length source annotations but also better captures long-term dependencies. Instead of the conventional attention mechanism, RNMT employs a recurrent neural network to extract the context vector, where the target-side previous hidden state serves as its initial state, and the source annotations serve as its inputs. We refer to this new component as contexter. As the encoder, contexter and decoder in our model are all derivable recurrent neural networks, our model can still be trained end-to-end on large-scale corpus via stochastic algorithms. Experiments on Chinese-English translation tasks demonstrate the superiority of our model to attention-based neural machine translation, especially on long sentences. Besides, further analysis of the contexter revels that our model can implicitly reflect the alignment to source sentence.

研究动机与目标

• 解决基于注意力机制的神经机器翻译在处理长句子时因长期依赖关系建模不足而导致的局限性。
• 在增强上下文建模能力的同时，保持对可变长度源序列的处理能力。
• 设计一种可微分的、端到端可训练的架构，编码器、上下文网络和解码器均采用循环组件。
• 在不牺牲短句性能的前提下，提升长序列的翻译质量。
• 探究上下文网络是否能隐式反映源句与目标句之间的对齐关系。

提出的方法

• 用上下文网络（contexter）替代标准注意力机制。上下文网络是一个循环神经网络，其输入为源序列的标注表示，初始隐藏状态为目标序列的前一隐藏状态。
• 利用上下文网络生成上下文向量，以比标准注意力更有效地捕捉长距离依赖关系。
• 将编码器、上下文网络和解码器设计为可微分的循环网络，以支持通过随机优化方法进行端到端训练。
• 使用随机梯度下降或类似方法，在大规模平行语料上训练整个模型。
• 利用上下文网络的循环结构在时间步之间持续保持和更新隐藏状态，实现动态上下文聚合。
• 通过其循环动态学习对齐模式，使上下文网络隐式建模对齐关系。

实验结果

研究问题

• RQ1 与标准注意力机制相比，基于循环结构的上下文向量生成机制是否能提升长序列翻译性能？
• RQ2 所提出的上下文网络组件是否比传统注意力机制更有效地捕捉源序列中的长期依赖关系？
• RQ3 上下文网络是否能在不显式建模对齐的情况下，隐式反映源句与目标句之间的对齐关系？
• RQ4 在中英翻译任务中，RNMT模型在长句子上的表现是否优于标准注意力机制的神经机器翻译模型？
• RQ5 上下文网络组件是否能够与模型其余部分端到端联合训练，同时保持性能提升？

主要发现

• 与标准注意力机制的神经机器翻译相比，RNMT模型在翻译性能上表现更优，尤其在长句上优势明显。
• 上下文网络组件通过在时间步之间持续保持和更新隐藏状态，有效建模了长期依赖关系。
• 模型通过上下文网络的动力学特性，隐式反映了源句与目标句之间的对齐关系。
• 由于其可微分的循环组件，RNMT模型可通过随机优化算法实现端到端训练。
• 中英翻译任务的实验结果证实，RNMT在处理长序列方面优于基线模型。
• 在长上下文场景下，上下文网络的循环结构比标准注意力机制更有效地实现了上下文聚合。