[论文解读] Refining Source Representations with Relation Networks for Neural Machine Translation

Wen Zhang, Jiawei Hu+2 more|arXiv (Cornell University)|Sep 12, 2017

Natural Language Processing Techniques参考文献 25被引用 6

一句话总结

本文提出将关系网络（RNs）集成到神经机器翻译（NMT）中，通过建模词与词之间的关系并缓解RNN隐藏状态遗忘问题，以增强源语言表征学习。通过利用成对关系对源表征进行优化，并将其输入注意力机制，该方法在不改变核心编码器-解码器架构的前提下，在两个中文到英文的翻译数据集上显著优于强基线模型。

ABSTRACT

Although neural machine translation (NMT) with the encoder-decoder framework has achieved great success in recent times, it still suffers from some drawbacks: RNNs tend to forget old information which is often useful and the encoder only operates through words without considering word relationship. To solve these problems, we introduce a relation networks (RN) into NMT to refine the encoding representations of the source. In our method, the RN first augments the representation of each source word with its neighbors and reasons all the possible pairwise relations between them. Then the source representations and all the relations are fed to the attention module and the decoder together, keeping the main encoder-decoder architecture unchanged. Experiments on two Chinese-to-English data sets in different scales both show that our method can outperform the competitive baselines significantly.

研究动机与目标

• 解决基于RNN的编码器在编码过程中遗忘有用长距离信息的局限性。
• 克服标准NMT编码器中缺乏对词间关系显式建模的问题。
• 通过捕捉词的局部邻域上下文和词与词之间的全局成对关系，提升源表征质量。
• 在保持标准编码器-解码器框架的同时，通过外部关系建模增强表征学习。
• 在不同规模的中文到英文翻译基准上实现一致的性能提升。

提出的方法

• 在编码器之后集成一个关系网络（RN）模块，利用局部邻居和成对关系对源词表征进行优化。
• 使用RN计算源词之间所有成对关系，捕捉超越局部上下文的结构依赖关系。
• 通过邻居信息和计算出的关系，增强每个词的表征。
• 将优化后的源表征和所有成对关系输入注意力机制与解码器。
• 保留原始NMT架构，仅通过注入关系特征修改编码器输出。
• 端到端训练，RN参数与标准NMT目标联合优化。

实验结果

研究问题

• RQ1 建模词与词之间的关系是否能提升NMT中源表征的质量？
• RQ2 关系网络的集成是否能缓解长序列中RNN隐藏状态的遗忘问题？
• RQ3 关系特征在低资源和高资源中文到英文任务中能多大程度上提升翻译性能？
• RQ4 关系建模能否在不修改核心架构的前提下有效集成到标准NMT中？
• RQ5 优化后的表征如何影响注意力对齐和解码质量？

主要发现

• 所提方法在两个不同规模的中文到英文翻译数据集上显著优于竞争性基线模型。
• 关系网络的集成通过捕捉局部和全局词关系，有效提升了源表征学习质量。
• 该方法通过关系建模保留有用的长距离依赖，有效缓解了RNN编码器中的遗忘问题。
• 性能提升在不同规模的数据集上均保持一致，表明对数据规模具有鲁棒性。
• 注意力机制从增强的表征中受益，实现了更优的对齐效果和翻译质量。