[论文解读] Neural Machine Translation with Recurrent Attention Modeling

Zichao Yang, Zhiting Hu+3 more|arXiv (Cornell University)|Jul 18, 2016

Natural Language Processing Techniques参考文献 13被引用 14

一句话总结

本文提出了一种循环注意力机制，通过为每个源词使用独立的RNN来总结注意力历史，从而在神经机器翻译中建模先前和后续注意力决策之间的依赖关系。通过将这种动态记忆整合到注意力计算中，该模型在中文-英文翻译任务上将翻译质量提升了最多1.5 BLEU分，在英文-德文任务上提升了最多0.7 BLEU分，优于先前的注意力模型和最先进基线模型。

ABSTRACT

Knowing which words have been attended to in previous time steps while generating a translation is a rich source of information for predicting what words will be attended to in the future. We improve upon the attention model of Bahdanau et al. (2014) by explicitly modeling the relationship between previous and subsequent attention levels for each word using one recurrent network per input word. This architecture easily captures informative features, such as fertility and regularities in relative distortion. In experiments, we show our parameterization of attention improves translation quality.

研究动机与目标

• 通过显式建模时间步之间注意力决策的依赖关系，提升神经机器翻译性能。
• 解决现有注意力机制将每个注意力步骤独立处理、忽略历史对齐模式的局限性。
• 通过注意力历史的循环建模，捕捉如词频和相对错位等结构规律。
• 开发一种能够处理变长源句并同时学习长距离覆盖和顺序约束的方法。
• 在基准翻译任务上超越标准注意力机制NMT模型和先前最先进系统。

提出的方法

• 为每个源词使用一个独立的循环网络，总结固定大小窗口内先前对齐决策的注意力历史。
• 该RNN的隐藏状态（代表注意力历史）与源词的上下文向量拼接，形成动态记忆表示。
• 该动态记忆与静态上下文向量一同用于注意力机制，以计算当前目标词的注意力权重。
• 注意力机制采用基于内容的寻址方式，兼容性函数包含tanh非线性变换和softmax归一化。
• 解码器使用LSTM，其上下文向量通过加权求和源端注释计算得出，权重由兼容性函数确定。
• 模型通过随机梯度下降进行训练，采用学习率衰减和梯度裁剪，并引入UNK替换策略以改善OOV处理。

实验结果

研究问题

• RQ1 建模注意力决策之间的序列依赖关系是否能提升神经机器翻译性能？
• RQ2 与独立注意力机制相比，引入历史注意力模式对翻译质量有何影响？
• RQ3 注意力历史窗口大小的变化对翻译性能有何影响？
• RQ4 所提方法是否能更好地捕捉对齐中的语言规律，如词频和相对错位？
• RQ5 该模型是否在标准机器翻译基准上超越如RNNSearch和四层LSTM注意力模型等强基线？

主要发现

• 与基线RNNSearch模型相比，该模型在英文-德文newstest2015测试集上的BLEU分数提升了0.7分。
• 在中文-英文测试集上，使用11大小的注意力历史窗口可使BLEU分数相比基线提升1.5分。
• 结合所提注意力机制与UNK替换策略后，英文-德文任务的性能达到25.0 BLEU，比先前最先进模型高出0.8 BLEU。
• 该模型在中文-英文MT05测试集上达到29.3 BLEU，比最佳报告结果高出1.6 BLEU。
• 在中文-英文任务上的提升幅度大于英文-德文任务，可能由于源语言与目标语言间共享词汇更少。
• 实验表明，通过RNN显式建模注意力历史，比通过隐藏状态间接建模或仅使用覆盖机制的方法更有效。