[论文解读] On the Properties of Neural Machine Translation: Encoder-Decoder Approaches

Kyunghyun Cho, Bart van Merriënboer+2 more|arXiv (Cornell University)|Sep 3, 2014

Natural Language Processing Techniques参考文献 9被引用 1,116

一句话总结

本文研究了编码器-解码器神经机器翻译模型，比较了标准的基于RNN的编码器与一种新型门控递归卷积神经网络（grConv）编码器。研究发现，随着句子变长以及出现罕见/未知词汇，性能显著下降，但两种模型均能生成流畅的翻译；值得注意的是，grConv在无监督条件下隐式学习了句法结构，表明其在更广泛的自然语言处理任务中具有潜力。

ABSTRACT

Neural machine translation is a relatively new approach to statistical machine translation based purely on neural networks. The neural machine translation models often consist of an encoder and a decoder. The encoder extracts a fixed-length representation from a variable-length input sentence, and the decoder generates a correct translation from this representation. In this paper, we focus on analyzing the properties of the neural machine translation using two models; RNN Encoder--Decoder and a newly proposed gated recursive convolutional neural network. We show that the neural machine translation performs relatively well on short sentences without unknown words, but its performance degrades rapidly as the length of the sentence and the number of unknown words increase. Furthermore, we find that the proposed gated recursive convolutional network learns a grammatical structure of a sentence automatically.

研究动机与目标

• 分析使用编码器-解码器架构的神经机器翻译（NMT）模型的性能与行为。
• 评估句子长度和词汇量（尤其是罕见/未知词汇）对NMT翻译质量的影响。
• 研究所提出的门控递归卷积神经网络（grConv）是否能在无显式监督的情况下自动学习句法结构。
• 从翻译质量与结构学习角度，比较基于RNN的编码器-解码器模型与基于grConv的新模型。
• 识别当前纯神经机器翻译系统的关键局限性及未来研究方向。

提出的方法

• 使用基于门控循环单元（GRUs）的RNN编码器-解码器模型进行序列编码与解码，其中隐藏状态通过重置门和更新门进行更新。
• 提出一种门控递归卷积神经网络（grConv）作为替代编码器，通过可学习的门控机制在可变长度序列上递归应用共享卷积核。
• 采用软注意力机制，使解码器在解码过程中能够关注编码器隐藏状态的相关部分。
• 使用随机梯度下降端到端训练两个模型，以最大化给定源句条件下目标翻译的似然概率。
• 通过突出显示门控系数较高的边缘，可视化grConv模型中学习到的注意力与结构表示。
• 通过改变句子长度与词汇构成，在法语到英语翻译任务上使用BLEU分数评估翻译性能。

实验结果

研究问题

• RQ1 句子长度如何影响神经机器翻译模型的翻译性能？
• RQ2 源句中存在未知或罕见词汇如何影响神经机器翻译的质量？
• RQ3 所提出的门控递归卷积神经网络（grConv）是否能在无显式监督的情况下学习句子的句法结构？
• RQ4 基于grConv的模型与标准RNN-based编码器-解码器模型在性能上如何比较？
• RQ5 当前编码器-解码器NMT模型的关键局限性是什么？未来需要哪些改进？

主要发现

• 随着源句长度的增加，翻译性能迅速下降，尤其在超过某一阈值后更为明显。
• 源句中存在未知或罕见词汇会显著降低翻译质量，尤其在长序列中更为严重。
• 基于RNN的编码器-解码器模型在无未知词的短句上能生成流畅翻译，但随着输入变长，性能急剧下降。
• 所提出的门控递归卷积神经网络（grConv）隐式地学习了语法结构，注意力可视化显示其能对短语如“of the United States”和“is the President of”进行分层分组。
• 尽管BLEU分数较低，grConv模型仍表现出强大的无监督句法结构学习能力，表明其在更广泛自然语言处理任务中具有潜力。
• 两种模型均受到句子长度的“诅咒”影响，表明解码器的表征能力可能是长序列翻译中的关键瓶颈。