[论文解读] Neural Transformation Machine: A New Architecture for Sequence-to-Sequence Learning.

Fandong Meng, Zhengdong Lu+3 more|arXiv (Cornell University)|Jun 22, 2015

Natural Language Processing Techniques参考文献 17被引用 9

一句话总结

Neural Transformation Machine (NTram) 是一种新型的序列到序列架构，通过使用带有可学习读写操作的堆叠记忆层，对输入序列到输出序列执行非线性变换。它在使用小词汇表和适度参数量的情况下，实现了与基于短语的系统（如 Moses）相当的性能，同时具备可扩展性，并能将先前的最先进模型作为特例涵盖在内。

ABSTRACT

We propose Neural Transformation Machine (NTram), a novel architecture for sequence-to-sequence learning, which performs the task through a series of nonlinear transformations from the representation of the input sequence (e.g., a Chinese sentence) to the final output sequence (e.g., translation to English). Inspired by the recent Neural Turing Machines [8], we store the intermediate representations in stacked layers of memories, and use read-write operations on the memories to realize the nonlinear transformations of those representations. Those transformations are designed in advance but the parameters are learned from data. Through layer-by-layer transformations, NTram can model complicated relations necessary for applications such as machine translation between distant languages. The architecture can be trained with normal back-propagation on parallel texts, and the learning can be easily scaled up to a large corpus. NTram is broad enough to subsume the state-of-the-art neural translation model in [2] as its special case, while significantly improves upon the model with its deeper architecture. Remarkably, NTram, being purely neural network-based, can achieve performance comparable to the traditional phrase-based machine translation system (Moses) with a small vocabulary and a modest parameter size.

研究动机与目标

• 设计一种新型的序列到序列架构，以在机器翻译等任务中建模复杂的语言关系。
• 通过带有可学习读写操作的分层记忆单元，实现更深层、更具表现力的表示。
• 在使用小词汇表和有限参数量的情况下，实现与传统系统（如 Moses）相当的性能。
• 提供一种可扩展的训练框架，兼容在大规模平行语料上使用标准反向传播。
• 通过引入更深的记忆层，推广并扩展现有最先进神经翻译模型的架构。

提出的方法

• NTram 使用堆叠的记忆层来存储输入序列的中间表示。
• 它通过在这些记忆层上应用一系列预定义的非线性变换，利用可学习的读写操作实现。
• 变换参数通过在平行文本数据上使用标准反向传播进行端到端训练。
• 该架构支持比先前模型更深的表示，从而能够建模复杂的跨语言依赖关系。
• 当深度减少时，该模型被设计为可涵盖现有最先进神经翻译模型作为特例。
• 记忆机制受到神经图灵机的启发，可在序列处理过程中实现动态的信息操作。

实验结果

研究问题

• RQ1 更深的、记忆增强的神经架构是否能提升远距离语言翻译中的序列到序列建模？
• RQ2 在参数量有限的情况下，纯神经模型在多大程度上能与传统基于短语的系统性能相当？
• RQ3 使用带有可学习读写操作的堆叠记忆层如何增强序列建模中的表示学习？
• RQ4 所提出的架构是否能使用标准反向传播在大规模平行语料上高效训练？
• RQ5 该模型在哪些方面能够推广或扩展现有的最先进神经翻译模型？

主要发现

• 尽管使用小词汇表和适度的参数量，NTram 的性能仍与基于短语的 Moses 系统相当。
• 该模型具备可扩展性，可使用标准反向传播在大规模平行语料上高效训练。
• 当深度减少为单层时，NTram 可将 [2] 中的最先进神经翻译模型作为特例涵盖。
• NTram 的深层架构能够更好地建模序列到序列任务中的复杂语言关系。
• 在堆叠记忆层上使用可学习读写操作，能有效捕捉序列表示中的非线性变换。
• 该架构表明，纯神经、记忆增强的模型可在不依赖外部语言模型或大规模词典的情况下，实现具有竞争力的结果。