[论文解读] Neural Machine Translation with Reconstruction

Zhaopeng Tu, Yang Liu+3 more|arXiv (Cornell University)|Nov 7, 2016

Natural Language Processing Techniques参考文献 22被引用 58

一句话总结

本文提出了一种新颖的编码器-解码器-重构器框架，用于神经机器翻译（NMT），通过训练重构器从解码器的隐藏状态中重建源句，从而提升翻译的充分性。在训练和推理过程中结合似然得分与重构得分，该模型显著提升了翻译质量，在强注意力机制NMT基础上提升了2.3 BLEU，在SMT系统基础上提升了4.5 BLEU。

ABSTRACT

Although end-to-end Neural Machine Translation (NMT) has achieved remarkable progress in the past two years, it suffers from a major drawback: translations generated by NMT systems often lack of adequacy. It has been widely observed that NMT tends to repeatedly translate some source words while mistakenly ignoring other words. To alleviate this problem, we propose a novel encoder-decoder-reconstructor framework for NMT. The reconstructor, incorporated into the NMT model, manages to reconstruct the input source sentence from the hidden layer of the output target sentence, to ensure that the information in the source side is transformed to the target side as much as possible. Experiments show that the proposed framework significantly improves the adequacy of NMT output and achieves superior translation result over state-of-the-art NMT and statistical MT systems.

研究动机与目标

• 为解决端到端NMT中的充分性问题，即模型常忽略或过度翻译某些源词。
• 克服基于似然的解码方法的次优性，该方法倾向于生成更短的翻译，且在增大束搜索大小时无法有效扩展。
• 提出一种统一框架，通过引入重构作为辅助目标，同时提升训练和推理性能。
• 提升长句翻译性能，因为此类句子中的充分性问题最为显著。
• 通过联合优化验证重构在提升流畅性与充分性方面的有效性。

提出的方法

• 该模型在标准NMT基础上扩展了重构器模块，其输入为解码器的隐藏状态，目标是重建原始源句。
• 重构得分 R(x|s) 衡量目标侧隐藏状态在在多大程度上保留了源信息，作为辅助目标。
• 在训练过程中，似然得分 P(y|x) 与重构得分 R(x|s) 的线性插值构成联合目标函数。
• 在推理阶段，联合得分用于引导束搜索，从而在更大的解码空间中实现更优的翻译候选重排序。
• 重构器与编码器-解码器端到端联合训练，通过反向传播确保隐藏状态编码了完整的源信息。
• 该框架与注意力机制兼容，可与现有技术（如覆盖机制和上下文门）结合使用。

实验结果

研究问题

• RQ1 能否通过从解码器隐藏状态重构源句的重构器，提升NMT中的翻译充分性？
• RQ2 将似然得分与重构得分结合，是否能相比仅使用似然得分的训练方式，带来更好的训练与推理性能？
• RQ3 在束搜索大小不断增加的情况下，该方法的表现如何？标准NMT在此类情况下性能会下降。
• RQ4 基于重构器的方法是否能在标准基准上超越最先进的SMT与NMT系统？
• RQ5 该模型是否在长句上表现出显著优势，因为此类句子的信息覆盖最为关键？

主要发现

• 所提模型在WMT 2014英语到德语翻译任务中，相较于强大的注意力机制NMT系统（RNNSearch），实现了2.3 BLEU的提升。
• 相较于最先进的SMT系统，实现了4.5 BLEU的提升，展现出显著的竞争优势。
• 随着束大小的增加，该模型的翻译性能持续提升，而标准NMT在大解码空间中性能反而下降。
• 在长句上的改进最为显著，证实重构器能有效缓解翻译中的漏译与过度翻译问题。
• 当与覆盖机制和上下文门机制结合使用时，模型达到34.09 BLEU的得分，优于所有基线配置。
• 重构得分能有效衡量翻译充分性，并在束搜索中提升重排序效果，验证了其作为有意义辅助目标的作用。