[论文解读] Neural Machine Translation Advised by Statistical Machine Translation

Xing Wang, Zhengdong Lu+4 more|arXiv (Cornell University)|Oct 17, 2016

Natural Language Processing Techniques参考文献 32被引用 9

一句话总结

本文提出了一种新颖的端到端神经机器翻译（NMT）框架，通过在解码过程中整合统计机器翻译（SMT）模型提供的词推荐来提升翻译质量。通过联合训练一个辅助分类器以评估SMT建议的质量，并引入一种动态门控机制来融合NMT与SMT的输出，该模型在中文-英文NIST基准测试中实现了显著的BLEU提升——相较于NMT高出2.44分，相较于Moses SMT高出3.21分。

ABSTRACT

Neural Machine Translation (NMT) is a new approach to machine translation that has made great progress in recent years. However, recent studies show that NMT generally produces fluent but inadequate translations (Tu et al. 2016b; Tu et al. 2016a; He et al. 2016; Tu et al. 2017). This is in contrast to conventional Statistical Machine Translation (SMT), which usually yields adequate but non-fluent translations. It is natural, therefore, to leverage the advantages of both models for better translations, and in this work we propose to incorporate SMT model into NMT framework. More specifically, at each decoding step, SMT offers additional recommendations of generated words based on the decoding information from NMT (e.g., the generated partial translation and attention history). Then we employ an auxiliary classifier to score the SMT recommendations and a gating function to combine the SMT recommendations with NMT generations, both of which are jointly trained within the NMT architecture in an end-to-end manner. Experimental results on Chinese-English translation show that the proposed approach achieves significant and consistent improvements over state-of-the-art NMT and SMT systems on multiple NIST test sets.

研究动机与目标

• 通过利用SMT的优势，解决NMT存在的覆盖问题、翻译不精确及UNK词问题等局限性。
• 通过引入SMT在确保源词覆盖和处理罕见词方面的能力，克服NMT生成流畅但有时不准确的翻译问题。
• 将SMT推荐直接整合到NMT的训练与解码过程中，而非将NMT视为黑箱。
• 通过可学习的门控机制，动态结合NMT生成结果与SMT提供的词建议，以提升翻译质量。
• 通过注意力与覆盖信息引导，利用SMT推荐在推理过程中替换未登录词（UNK），以缓解UNK问题。

提出的方法

• 在与NMT相同的双语平行语料上独立训练一个短语基于的SMT模型。
• 在每个解码步骤中，基于当前NMT生成的部分翻译和注意力历史，生成SMT推荐。
• 使用辅助分类器对SMT推荐进行评分，学习评估其相关性与质量。
• 采用可微分的门控函数，根据解码上下文动态融合NMT生成的词概率与SMT推荐。
• 通过反向传播，以端到端方式联合训练NMT模型、SMT分类器与门控函数。
• 在推理阶段，利用SMT模型结合NMT注意力与SMT覆盖信息，建议替换UNK标记。

实验结果

研究问题

• RQ1 SMT推荐是否能在不牺牲流畅性的前提下，提升NMT翻译的充分性与准确性？
• RQ2 可学习的门控机制在解码过程中动态平衡NMT与SMT输出方面是否有效？
• RQ3 与启发式组合方法相比，在训练阶段而非仅推理阶段集成SMT，是否能带来更好的性能？
• RQ4 基于SMT的推荐是否能有效缓解NMT中的UNK词问题？
• RQ5 SMT推荐的质量如何影响混合模型的整体翻译性能？

主要发现

• 所提模型在五个中文-英文NIST测试集上相较NMT基线模型实现了2.44 BLEU点的提升。
• 模型相较Moses SMT系统提升了3.21 BLEU点，展现出强劲的竞争力。
• 消融实验表明，若移除SMT推荐，性能下降1.55 BLEU点，证明其必要性。
• 若移除动态门控机制，性能下降2.09 BLEU点，证实其在平衡NMT与SMT输出中的关键作用。
• 使用低质量或随机SMT推荐会导致性能下降1.54 BLEU点，凸显高质量SMT建议的重要性。
• 门控函数与分类器的联合端到端训练使模型能够在训练与推理阶段均有效学习SMT引导的整合策略。