[论文解读] Neural Machine Translation with Key-Value Memory-Augmented Attention

Fandong Meng, Zhaopeng Tu+5 more|arXiv (Cornell University)|Jun 29, 2018

Natural Language Processing Techniques参考文献 21被引用 9

一句话总结

本文提出KVMemAtt，一种用于神经机器翻译的键值记忆增强注意力机制，通过动态更新的键记忆追踪注意力历史，并通过固定的值记忆存储源语言表征。通过在两种记忆之间实现迭代、多轮交互，该模型提升了翻译的充分性，减少了词重复与遗漏，在中英和德英翻译任务上达到了最先进性能。

ABSTRACT

Although attention-based Neural Machine Translation (NMT) has achieved remarkable progress in recent years, it still suffers from issues of repeating and dropping translations. To alleviate these issues, we propose a novel key-value memory-augmented attention model for NMT, called KVMEMATT. Specifically, we maintain a timely updated keymemory to keep track of attention history and a fixed value-memory to store the representation of source sentence throughout the whole translation process. Via nontrivial transformations and iterative interactions between the two memories, the decoder focuses on more appropriate source word(s) for predicting the next target word at each decoding step, therefore can improve the adequacy of translations. Experimental results on Chinese=>English and WMT17 German<=>English translation tasks demonstrate the superiority of the proposed model.

研究动机与目标

• 解决基于注意力机制的NMT模型中持续存在的翻译重复与遗漏问题。
• 克服传统注意力机制难以有效追踪注意力历史的局限性。
• 通过将注意力历史追踪与源语言表征存储功能解耦，减轻训练难度并提升性能。
• 设计一种通用、与架构无关的记忆增强注意力框架，适用于多种NMT模型。
• 在多种语言对和基准任务上验证该方法的有效性与泛化能力。

提出的方法

• 引入一种通过注意力机制写入操作（如遗忘与添加）动态更新的键记忆，其更新与解码器隐藏状态更新链同步进行。
• 维持一个固定的值记忆，用于在整个解码过程中存储整个源句的编码表征。
• 在各层之间执行多轮记忆操作，使解码器能够重新关注中间注意力结果，优化上下文选择。
• 通过非平凡的变换，在每层内及层间实现键记忆与值记忆之间的复杂交互。
• 应用弱监督、注意力导向的目标函数，进一步提升注意力质量，且无需额外标注数据。
• 将KVMemAtt模块集成至标准RNN-based NMT架构中，保持与现有模型的兼容性。

实验结果

研究问题

• RQ1 将注意力历史追踪与源语言表征存储功能分离，是否能提升NMT中的翻译充分性？
• RQ2 在键记忆与值记忆之间实现迭代、多轮记忆访问，是否能带来更优的上下文选择并减少词重复？
• RQ3 在低资源与高资源翻译任务上，KVMemAtt模型相较于标准注意力与NTM增强注意力模型表现如何？
• RQ4 所提出的键值记忆机制是否能在不同语言对（如中英与德英）之间实现泛化？
• RQ5 弱监督注意力导向目标在多大程度上提升了注意力质量与翻译性能？

主要发现

• 在中英翻译任务上，与RNNSearch基线相比，KVMemAtt将源词遗漏率从13.1%降至9.7%，过翻译率从2.7%降至1.3%。
• 单层KVMemAtt模型在翻译质量与注意力性能上均优于标准注意力模型与NTM增强注意力模型。
• 多层KVMemAtt变体在所有评估指标上均持续提升了性能。
• 在WMT17德英翻译任务中，KVMemAtt在De→En与En→De两个方向上的BLEU分数均高于标准注意力与记忆增强注意力基线。
• 该模型展现出强大的泛化能力，在未使用合成数据的情况下，对多种语言对均表现良好，且在充分性与注意力准确率方面优于强基线模型。
• 消融实验证实，键值分离与多轮记忆访问是模型成功的关键因素，移除任一组件均导致性能显著下降。