[论文解读] On Using Monolingual Corpora in Neural Machine Translation

Çaǧlar Gülçehre, Orhan Fırat+7 more|arXiv (Cornell University)|Mar 11, 2015

Natural Language Processing Techniques参考文献 26被引用 512

一句话总结

本文提出深度融合与浅层融合方法，将单语语言模型整合至神经机器翻译（NMT）系统中，通过利用未标注的单语数据提升翻译质量。主要贡献在于：在低资源土耳其语-英语翻译任务中实现高达1.96 BLEU的提升，高资源德语-英语任务中提升0.47 BLEU，且深度融合因能自适应地门控语言模型信号，表现优于浅层融合。

ABSTRACT

Recent work on end-to-end neural network-based architectures for machine translation has shown promising results for En-Fr and En-De translation. Arguably, one of the major factors behind this success has been the availability of high quality parallel corpora. In this work, we investigate how to leverage abundant monolingual corpora for neural machine translation. Compared to a phrase-based and hierarchical baseline, we obtain up to $1.96$ BLEU improvement on the low-resource language pair Turkish-English, and $1.59$ BLEU on the focused domain task of Chinese-English chat messages. While our method was initially targeted toward such tasks with less parallel data, we show that it also extends to high resource languages such as Cs-En and De-En where we obtain an improvement of $0.39$ and $0.47$ BLEU scores over the neural machine translation baselines, respectively.

研究动机与目标

• 在平行双语数据稀缺的低资源及特定领域设置下，提升神经机器翻译性能。
• 探究如何有效利用未标注但富含语言结构的单语语料，以增强NMT系统。
• 比较浅层融合与深度融合策略在将外部语言模型整合至NMT架构中的效果。
• 评估单语语言模型与翻译任务之间领域相似性对性能提升的影响。
• 证明即使在高资源语言对（如德语-英语和捷克语-英语）上，单语数据的整合也能提升NMT性能。

提出的方法

• 该方法使用在单语目标语数据上预训练的RNN-based语言模型，为NMT解码器提供语言上下文信息。
• 浅层融合在解码过程中，将语言模型的对数概率直接加至NMT解码器的输出logits上。
• 深度融合引入一个可学习的门控机制（控制器），在每个解码步骤动态调节语言模型的贡献。
• 控制器网络为每个词元计算一个门控值 $ g_t $，实现上下文相关的、动态的语言模型信号整合。
• NMT模型与融合后的语言模型进行端到端微调，使用目标翻译的交叉熵损失进行训练。
• 该方法在多个语言对上进行了评估：土耳其语-英语、中文-英语（短信/聊天）、德语-英语/捷克语-英语（WMT’15）。”

实验结果

研究问题

• RQ1 当平行数据有限时，单语语料能否提升神经机器翻译性能？
• RQ2 在将外部语言模型整合至NMT系统时，浅层融合与深度融合的性能表现如何比较？
• RQ3 单语语料与翻译任务之间的领域相似性是否影响性能提升的幅度？
• RQ4 即使在高资源语言对（如德语-英语和捷克语-英语）上，单语数据能否提升NMT性能？
• RQ5 深度融合中的控制器机制是否能自适应地提升对领域不匹配的鲁棒性？

主要发现

• 在低资源土耳其语-英语（Tr-En）任务中，深度融合相比NMT基线模型实现了+1.96 BLEU的提升，优于以往的短语基于系统。
• 在聚焦领域的中文-英语短信/聊天任务中，该方法实现了+1.59 BLEU的提升，证明了其在特定领域翻译中的有效性。
• 在高资源德语-英语（De-En）任务中，深度融合使NMT基线模型提升了0.47 BLEU，表明即使在数据丰富的情况下仍能获得收益。
• 在捷克语-英语（Cs-En）任务中，深度融合相比NMT基线模型实现了0.39 BLEU的提升，证实了其在多样化语言对上的稳定增益。
• 深度融合中的控制器机制在De-En和Cs-En任务中表现出更高的平均激活值（$ g_t $），表明在领域相似性高的情况下，语言模型信号被更有效地整合。
• 由于领域不匹配，Zh-En任务中的性能提升显著较小，表现为语言模型困惑度较高（223.68），且浅层融合在此情况下表现较差。