[论文解读] OpenNMT: Neural Machine Translation Toolkit

Guillaume Klein, Yoon Kim+4 more|arXiv (Cornell University)|May 28, 2018

Natural Language Processing Techniques参考文献 30被引用 51

一句话总结

OpenNMT 提供一个开源、模块化且高效的神经机器翻译工具包，具备多种实现（Lua/Torch、PyTorch、TensorFlow），面向研究和生产环境。它强调可扩展性、速度，以及对模态和注意力机制的广泛支持。

ABSTRACT

OpenNMT is an open-source toolkit for neural machine translation (NMT). The system prioritizes efficiency, modularity, and extensibility with the goal of supporting NMT research into model architectures, feature representations, and source modalities, while maintaining competitive performance and reasonable training requirements. The toolkit consists of modeling and translation support, as well as detailed pedagogical documentation about the underlying techniques. OpenNMT has been used in several production MT systems, modified for numerous research papers, and is implemented across several deep learning frameworks.

研究动机与目标

• 介绍 OpenNMT 作为一个优先考虑效率、模块化和可扩展性的开源 NMT 工具包，以供研究与生产使用。
• 描述在各框架中的实现细节、设计目标和性能基准。
• 演示该工具包在各种输入模态和现代 NMT 技术中的适用性。
• 强调其生态系统、文档和社区采用情况。

提出的方法

• 展示三种主要实现：OpenNMT-lua (Torch 7)、OpenNMT-py (PyTorch)、OpenNMT-tf (TensorFlow)。
• 描述内存共享、分片和多 GPU 数据并行训练以提高效率。
• 解释具有清晰接口（预处理、训练、翻译）的模块化架构和可配置组件。
• 详细支持注意力变体、复制机制、束搜索和 OOV 处理。
• 通过编码器扩展到非序列输入（表格、语音、图像）并支持 Transformer 和卷积模型。

实验结果

研究问题

• RQ1 开放源代码的 NMT 工具包如何在培训效率、模块化和可扩展性之间取得平衡？
• RQ2 哪些设计选择和实现使其在多个框架中具备生产就绪的性能？
• RQ3 OpenNMT 在多种输入模态和最近的 NMT 创新（注意力变体、复制机制、Transformer 等）方面的支持有多高效？
• RQ4 哪些基准显示 OpenNMT 在准确性、速度和内存使用方面与当代系统相比具有竞争力？

主要发现

• OpenNMT 在标准基准上实现了与当代系统相对可比的翻译质量。
• 该工具包展示了显著的内存和速度优化，能够支持更大的批量大小和多 GPU 训练。
• OpenNMT 支持广泛的输入模态和模型变体，包括注意力类型和 Transformer 模型。
• 它提供可扩展、可读的代码，在 Lua、PyTorch、TensorFlow 中具有简洁的核心实现。
• 自发布以来，已被广泛用于生产部署和研究改编。