[论文解读] Neural Machine Translation from Simplified Translations

Josep Crego, Jean Sénellart|arXiv (Cornell University)|Dec 19, 2016

Natural Language Processing Techniques参考文献 6被引用 7

一句话总结

本文提出通过知识蒸馏方法，利用神经机器翻译（NMT）系统生成的简化翻译来训练神经机器翻译（NMT）模型，以提升性能。通过同时使用参考翻译和自动生成的简化翻译进行训练，所得模型在新测试集2014（newstest2014）上BLEU得分最高提升达+2.44，表明简化翻译有助于学习过程并提升标准NMT训练的翻译准确性。

ABSTRACT

Text simplification aims at reducing the lexical, grammatical and structural complexity of a text while keeping the same meaning. In the context of machine translation, we introduce the idea of simplified translations in order to boost the learning ability of deep neural translation models. We conduct preliminary experiments showing that translation complexity is actually reduced in a translation of a source bi-text compared to the target reference of the bi-text while using a neural machine translation (NMT) system learned on the exact same bi-text. Based on knowledge distillation idea, we then train an NMT system using the simplified bi-text, and show that it outperforms the initial system that was built over the reference data set. Performance is further boosted when both reference and automatic translations are used to learn the network. We perform an elementary analysis of the translated corpus and report accuracy results of the proposed approach on English-to-French and English-to-German translation tasks.

研究动机与目标

• 探究简化目标语句翻译是否能提升神经机器翻译的性能。
• 探索从神经机器翻译系统中知识蒸馏生成的简化翻译是否对训练具有实际帮助。
• 评估在训练中结合参考翻译与简化翻译是否能优于仅使用参考数据的泛化能力。
• 分析简化翻译与参考翻译在结构和对齐特性上的差异。

提出的方法

• 首先在标准平行双语语料上训练一个神经机器翻译系统，以生成自动翻译结果。
• 将这些自动翻译结果用作简化的目标参考语句，在保留语义的同时降低句法和词汇复杂度。
• 应用知识蒸馏：训练一个较小的“学生”NMT模型，使其模仿较大的“教师”模型的行为，使用参考翻译和简化翻译作为训练数据。
• 学生模型采用双向编码器-解码器架构，结合注意力机制和LSTM单元进行训练。
• 训练数据根据语言特定规则进行过滤和分词，词汇表限制为源语言和目标语言中频率最高的50,000个词。
• 使用随机梯度下降进行训练，dropout率为0.3，解码采用束搜索（beam size为5），学习率在第10个周期后衰减。

实验结果

研究问题

• RQ1 自动生成的简化翻译是否能提升神经机器翻译模型的性能？
• RQ2 与标准参考翻译相比，使用简化翻译在BLEU分数和模型泛化能力方面表现如何？
• RQ3 在训练中同时使用参考翻译与简化翻译是否优于单独使用任一类型？
• RQ4 与参考翻译相比，简化翻译在多大程度上减少了结构复杂性和交叉对齐？

主要发现

• 仅使用简化翻译训练的学生NMT模型在英语到德语测试集（test-intern）上表现优于教师模型，BLEU得分提升+0.51。
• 在英语到法语任务中，简化翻译模型相比其教师模型实现了+0.69 BLEU的提升。
• 当同时使用参考翻译和简化翻译时，与教师模型相比，英语到德语任务提升+1.19 BLEU，英语到法语任务提升+1.46 BLEU。
• 性能最佳的配置为R+A（参考翻译与自动生成翻译），在英语到德语测试集上达到34.59 BLEU，在英语到法语测试集上达到55.24 BLEU。
• 简化翻译中源句与目标句之间的交叉对齐数量显著减少，表明其结构对齐更简单。
• 在简化数据上训练的模型表现出更好的泛化能力，尤其在未登录词（OOV）上的表现更优，表明其对罕见或未见词汇具有更强的鲁棒性。