[论文解读] The University of Edinburgh's Neural MT Systems for WMT17

Rico Sennrich, Alexandra Birch+6 more|arXiv (Cornell University)|Aug 2, 2017

Natural Language Processing Techniques被引用 23

一句话总结

本文介绍了爱丁堡大学在WMT17新闻翻译与生物医学翻译共享任务中所提交的神经机器翻译系统。这些系统采用深度网络架构、层归一化、参数共享以及通过反向翻译利用单语数据进行子词分词（BPE），在12个语言对中相较先前系统取得2.2–5 BLEU的性能提升，且在11个新闻翻译方向中并列排名第一。

ABSTRACT

This paper describes the University of Edinburgh's submissions to the WMT17 shared news translation and biomedical translation tasks. We participated in 12 translation directions for news, translating between English and Czech, German, Latvian, Russian, Turkish and Chinese. For the biomedical task we submitted systems for English to Czech, German, Polish and Romanian. Our systems are neural machine translation systems trained with Nematus, an attentional encoder-decoder. We follow our setup from last year and build BPE-based models with parallel and back-translated monolingual training data. Novelties this year include the use of deep architectures, layer normalization, and more compact models due to weight tying and improvements in BPE segmentations. We perform extensive ablative experiments, reporting on the effectivenes of layer normalization, deep architectures, and different ensembling techniques.

研究动机与目标

• 为WMT17共享任务中的新闻翻译与生物医学翻译开发高性能神经机器翻译系统。
• 通过架构创新（如更深的模型与层归一化）提升翻译质量。
• 通过BPE过滤、参数共享与训练优化，降低模型大小并提升效率。
• 评估集成、重排序与领域自适应在低资源与生物医学场景下的有效性。

提出的方法

• 使用Nematus训练序列到序列神经机器翻译模型，并引入注意力机制。
• 采用联合字节对编码（BPE）并结合过滤机制，以减少未登录子词单元数量，压缩词汇表规模。
• 在所有循环神经网络与前馈网络层中应用层归一化，以稳定训练过程并加快收敛。
• 采用Adam优化器替代Adadelta，以实现更快且更稳定的训练。
• 实现深度转移与堆叠RNN架构，以增强模型的表征能力。
• 通过反向翻译整合单语数据，并在领域内生物医学数据上微调模型，实现领域自适应。

实验结果

研究问题

• RQ1 更深的网络架构与层归一化在不同语言对上的神经机器翻译性能中产生何种影响？
• RQ2 BPE过滤与参数共享在多大程度上提升了模型效率与鲁棒性？
• RQ3 集成策略（检查点集成 vs. 独立集成）对翻译质量的影响如何？
• RQ4 在生物医学翻译中，利用合成数据与反向翻译的单语数据进行领域自适应的效果如何？
• RQ5 与数据和超参数调整相比，架构改进在BLEU得分提升方面表现如何？

主要发现

• 与2016年基线相比，层归一化与更深模型在6个语言对上实现了1.5–3的BLEU稳定提升。
• 采用过滤后的BPE分词使词汇表规模最大减少37%（例如，EN→DE从80,581降至51,092），对序列长度影响极小。
• 检查点集成优于单模型，但独立集成始终表现更优。
• 从右到左的重排序带来0–1的BLEU提升，较2016年略有下降，因单模型性能更强。
• 通过在领域内数据上微调实现的领域自适应，使EN→PL的BLEU提升最高达2.3分，EN→RO提升1.1分，但在NHS24上观察到集成结果波动。
• 在受限提交中，系统在12个新闻翻译方向中并列第一，且在所有生物医学任务中取得最高BLEU得分。