[论文解读] Sockeye: A Toolkit for Neural Machine Translation

Felix Hieber, Tobias Domhan+5 more|arXiv (Cornell University)|Dec 15, 2017

Natural Language Processing Techniques参考文献 2被引用 194

一句话总结

SOCKEYE 是一个基于 Apache 2.0 的开源 Python MXNet 为基础的神经机器翻译工具包，实现三大架构（带注意力的 RNN、Transformer 和 ConvSeq2Seq），具备广泛的训练/推理特性，并在 WMT 数据上对比其他工具包的基准。

ABSTRACT

We describe Sockeye (version 1.12), an open-source sequence-to-sequence toolkit for Neural Machine Translation (NMT). Sockeye is a production-ready framework for training and applying models as well as an experimental platform for researchers. Written in Python and built on MXNet, the toolkit offers scalable training and inference for the three most prominent encoder-decoder architectures: attentional recurrent neural networks, self-attentional transformers, and fully convolutional networks. Sockeye also supports a wide range of optimizers, normalization and regularization techniques, and inference improvements from current NMT literature. Users can easily run standard training recipes, explore different model settings, and incorporate new ideas. In this paper, we highlight Sockeye's features and benchmark it against other NMT toolkits on two language arcs from the 2017 Conference on Machine Translation (WMT): English-German and Latvian-English. We report competitive BLEU scores across all three architectures, including an overall best score for Sockeye's transformer implementation. To facilitate further comparison, we release all system outputs and training scripts used in our experiments. The Sockeye toolkit is free software released under the Apache 2.0 license.

研究动机与目标

• 提供一个生产就绪、可扩展的 NMT 工具包，支持三种主要的编码器-解码器架构。
• 在标准 WMT 数据集上对 SOCKEYE 与其他 NMT 工具包进行基准测试，以评估翻译质量和速度。
• 描述关键的建模、训练和推理特征，使研究人员能够轻松训练、比较和扩展 NMT 模型。
• 发布可重复的系统输出和训练脚本，以促进跨工具包的公平比较。

提出的方法

• 实现三大主要 NMT 架构：堆叠式 RNN 与注意力、自注意 Transformer，以及 Fully Convolutional 网络。
• 整合层/权重归一化、RNN 注意力变体和覆盖模型，以提升训练稳定性和翻译质量。
• 全面的训练特性包括优化器（Adam、Eve）、学习率调度、正则化和多 GPU 支持。
• 高效推理，包含束搜索、集成解码、批量解码、词汇表选择和注意力可视化。
• 使用 BLEU 对数据集（EN→DE、LV→EN）进行评估，并与 OpenNMT、Marian、NEMATUS、NeuralMonkey 等进行比较。
• 开源发布模型、输出和训练脚本，以实现可重复的研究。

实验结果

研究问题

• RQ1 在同一工具包环境中，三种著名的 NMT 架构（带注意力的 RNN、Transformer、ConvSeq2Seq）在翻译质量和速度上有哪些比较？
• RQ2 哪些训练、正则化和推理技术最能支持跨架构的生产就绪 NMT？
• RQ3 在标准 WMT 数据集（EN→DE、LV→EN）上，SOCKEYE 相对于其他开源工具包在 BLEU 和效率方面的表现如何？
• RQ4 研究人员是否可以使用 SOCKEYE 通过可重复的输出和脚本轻松训练、比较和扩展模型？

主要发现

工具包	EN→DE 层数	LV→EN 层数	EN→DE BLEU	LV→EN BLEU
OPENNMT-LUA	4/4	-	22.69	13.85
OPENNMT-PY	4/4	-	21.95	13.55
MARIAN	4/4	-	25.93	16.19
NEMATUS	8/8	-	23.78	14.70
NEURALMONKEY	1/1	-	13.73	10.54
SOCKEYE	4/4	-	25.55	15.92

• SOCKEYE 的 RNN 模型在 BLEU 上与比较中表现最好的工具包相当，达到竞争水平。
• SOCKEYE 的 Transformer 实现在人评架构中总体 BLEU 得分最佳。
• SOCKEYE 的 ConvSeq2Seq 模型在其类别的基准上表现最好。
• SOCKEYE 在各种配置下显示出具有竞争力或更优的解码速度，词汇表选择带来显著的加速。
• 作者发布了所有系统输出和训练脚本，以促进公平比较和可重复性。