[论文解读] Variational Neural Machine Translation

Biao Zhang, Deyi Xiong+3 more|arXiv (Cornell University)|May 25, 2016

Natural Language Processing Techniques参考文献 17被引用 33

一句话总结

本文提出变分神经机器翻译（VNMT），一种生成式编码器-解码器模型，通过引入一个连续潜在变量显式建模源-目标句子对的潜在语义。通过使用具有重参数化技巧的神经后验近似器实现高效的变分推断，VNMT在标准注意力机制神经机器翻译基础上显著提升了翻译质量，尤其在长句上表现更优，在中英和英德翻译基准上均取得显著提升。

ABSTRACT

Models of neural machine translation are often from a discriminative family of encoderdecoders that learn a conditional distribution of a target sentence given a source sentence. In this paper, we propose a variational model to learn this conditional distribution for neural machine translation: a variational encoderdecoder model that can be trained end-to-end. Different from the vanilla encoder-decoder model that generates target translations from hidden representations of source sentences alone, the variational model introduces a continuous latent variable to explicitly model underlying semantics of source sentences and to guide the generation of target translations. In order to perform efficient posterior inference and large-scale training, we build a neural posterior approximator conditioned on both the source and the target sides, and equip it with a reparameterization technique to estimate the variational lower bound. Experiments on both Chinese-English and English- German translation tasks show that the proposed variational neural machine translation achieves significant improvements over the vanilla neural machine translation baselines.

研究动机与目标

• 为解决基于注意力机制的神经机器翻译的局限性，后者依赖隐式语义对齐，且在长句上容易失效。
• 通过连续潜在变量显式建模双语句子对的潜在语义空间。
• 开发一种可微分、端到端可训练的模型，将变分推断与神经序列建模相结合。
• 通过潜在变量引入正则化效应，提升模型的泛化能力与鲁棒性。

提出的方法

• 提出一种类似变分自编码器的框架，其中潜在变量 z 用于建模源句与目标句之间的共享语义内容。
• 使用基于源句和目标句输入的神经变分后验 qϕ(z|x,y)，近似难以计算的真实后验 p(z|x,y)。
• 采用重参数化技巧，使潜在变量可反向传播，从而支持通过随机梯度下降实现端到端训练。
• 将先验 pθ(z|x) 建模为仅依赖于源句的函数，以捕捉全局语义结构。
• 在解码器中将潜在变量 z 与源表示结合，通过 pθ(y|z,x) 生成目标序列。
• 使用标准随机梯度方法优化变分下界（ELBO），支持大规模数据集的训练。

实验结果

研究问题

• RQ1 引入连续潜在变量是否能提升神经机器翻译中对潜在语义的建模能力？
• RQ2 与标准注意力机制神经机器翻译相比，基于重参数化的变分推断框架如何影响翻译质量？
• RQ3 潜在变量是否提供正则化效应，从而提升泛化能力，特别是在长句或复杂句上？
• RQ4 所提出的模型能否在保持效率与可扩展性的前提下实现端到端训练？

主要发现

• VNMT在中英和英德翻译任务上均显著优于基线的原始NMT模型。
• 该模型在长句上表现尤为突出，而注意力机制常因对齐不良而失效。
• 潜在变量作为全局语义信号，与注意力机制互补，降低对可能错误对齐的依赖。
• 基于重参数化的训练方法有效优化了变分下界，使模型具备可扩展性与端到端可训练性。
• 潜在变量引入的正则化效应提升了模型的泛化能力与鲁棒性。