[论文解读] Neural Machine Translation and Sequence-to-sequence Models: A Tutorial

Graham Neubig|arXiv (Cornell University)|Mar 5, 2017

Natural Language Processing Techniques参考文献 97被引用 119

一句话总结

一份全面的教程，介绍神经机器翻译与序列到序列模型，涵盖语言模型、编码器-解码器架构，以及注意力机制，具有数学细节和实现指南。

ABSTRACT

This tutorial introduces a new and powerful set of techniques variously called "neural machine translation" or "neural sequence-to-sequence models". These techniques have been used in a number of tasks regarding the handling of human language, and can be a powerful tool in the toolbox of anyone who wants to model sequential data of some sort. The tutorial assumes that the reader knows the basics of math and programming, but does not assume any particular experience with neural networks or natural language processing. It attempts to explain the intuition behind the various methods covered, then delves into them with enough mathematical detail to understand them concretely, and culiminates with a suggestion for an implementation exercise, where readers can test that they understood the content in practice.

研究动机与目标

• 解释神经机器翻译和序列到序列模型的术语与动机。
• 展示从传统语言模型到神经网络的建模技术演进。
• 详细阐述用于翻译和序列转换的编码器–解码器架构与注意力机制。
• 提供用于训练和评估序列模型的数学基础与实际指南。

提出的方法

• 定义统计 MT 任务及三个核心问题：对概率 P(E|F) 的建模、学习参数以及解码。
• 介绍 n-gram 语言模型及平滑技术以对 P(E) 建模，并用困惑度和对数似然进行评估。
• 介绍使用特征函数和 softmax 进行概率输出的对数线性（最大熵）语言模型。
• 描述包括前馈和循环结构在内的神经网络语言模型，为 seq2seq 方法做准备。
• 解释用于翻译的编码器–解码器序列到序列模型，以及注意力机制如何提升性能。

实验结果

研究问题

• RQ1 哪些基础的语言建模方法（n-gram、log-linear）与序列到序列翻译相关？
• RQ2 如何构建用于机器翻译的编码器–解码器架构，注意力机制对这些模型有何影响？
• RQ3 哪些训练与评估方法适用于序列到序列和神经语言模型？
• RQ4 平滑、特征与神经组件在构建有效 MT 系统中的交互是如何的？

主要发现

• 本教程澄清了在翻译中如何分解 P(E) 与 P(E|F)，并指引从 SMT 到神经方法的模型选择。
• 它概述了神经模型的实用训练技巧，包括 SGD、学习率调度、提前停止和数据打乱。
• 它解释了编码器–解码器架构以及注意力在改善对齐和翻译质量中的作用。
• 它把传统语言模型（n-grams、log-linear）与神经模型联系起来，作为走向现代 seq2seq MT 的垫脚石。
• 它提供具体的实现指导和练习，以测试理解并实践构建 MT 组件。