[论文解读] Unsupervised Neural Machine Translation with Weight Sharing

Zhen Yang, Wei Chen+2 more|arXiv (Cornell University)|Apr 24, 2018

Natural Language Processing Techniques参考文献 24被引用 14

一句话总结

本文提出了一种新颖的无监督神经机器翻译模型，该模型采用两个独立的编码器并共享高层权重，以在保留语言特异性特征的同时实现跨语言对齐。通过整合权重共享约束、嵌入增强编码器以及双重生成对抗网络（局部与全局），该模型在英语-德语、英语-法语和中译英翻译任务上实现了显著的BLEU提升——相较于先前的无监督方法最高提升+1.92分。

ABSTRACT

Unsupervised neural machine translation (NMT) is a recently proposed approach for machine translation which aims to train the model without using any labeled data. The models proposed for unsupervised NMT often use only one shared encoder to map the pairs of sentences from different languages to a shared-latent space, which is weak in keeping the unique and internal characteristics of each language, such as the style, terminology, and sentence structure. To address this issue, we introduce an extension by utilizing two independent encoders but sharing some partial weights which are responsible for extracting high-level representations of the input sentences. Besides, two different generative adversarial networks (GANs), namely the local GAN and global GAN, are proposed to enhance the cross-language translation. With this new approach, we achieve significant improvements on English-German, English-French and Chinese-to-English translation tasks.

研究动机与目标

• 解决无监督NMT中共享编码器的局限性，后者无法有效保留语言特异性特征（如风格、术语和语法）。
• 通过在高层编码器和解码器层引入权重共享约束，实现在无并行单语数据情况下的跨语言对齐。
• 通过引入两种新型生成对抗网络（GAN）——局部GAN用于对齐潜在表征，全局GAN通过分布匹配优化生成质量——提升翻译性能。
• 探究在无监督NMT中，通过方向性自注意力机制建模时序顺序的作用。
• 证明具有选择性权重共享的独立编码器在零样本翻译设置下优于单编码器基线模型。

提出的方法

• 采用两个独立的编码器，分别处理每种语言的单语句子，通过在最后几层共享权重，强制实现高层语义对齐。
• 使用两个独立的解码器，共享初始层，通过自编码方式重建输入句子，以保留语言特异性的生成模式。
• 通过使用预训练词嵌入初始化编码器，实现嵌入增强型编码器，以加强语义编码能力。
• 引入局部GAN，用于区分源语言和目标语言的潜在表征，促使编码器生成难以区分的表示。
• 部署全局GAN，通过将生成句子与真实单语数据对比，评估其真实性，从而通过对抗训练提升生成质量。
• 引入方向性自注意力机制，更有效地建模序列依赖关系，增强注意力机制中的上下文建模能力。

实验结果

研究问题

• RQ1 在无监督NMT中，具有选择性权重共享的独立编码器是否能比单个共享编码器更好地保留语言特异性特征？
• RQ2 在无并行数据条件下，局部与全局GAN在提升跨语言对齐和生成质量方面的有效性如何？
• RQ3 通过方向性自注意力机制建模时序顺序，在无监督设置下对翻译性能的提升程度如何？
• RQ4 各组件（权重共享、GAN、嵌入增强、方向性注意力）对最终BLEU分数的贡献分别是什么？
• RQ5 所提出的模型是否能在多个语种对上显著超越现有无监督NMT基线模型（如Lample等人，2017年）？

主要发现

• 在英语-德语翻译任务中，该模型达到15.58的BLEU分数，相较于Lample等人（2017年）的基线模型提升+1.92分。
• 在英语-法语翻译任务中，模型达到16.97的BLEU分数，相较于基线模型提升+1.37分，相较于Lample等人（2017年）提升+1.92分。
• 消融实验表明，权重共享是最关键的组件，当移除方向性自注意力时，BLEU分数最高下降-0.3分。
• 局部GAN和全局GAN均显著提升性能：局部GAN在英语-法语任务上最高提升+0.57 BLEU，全局GAN最高提升+0.78 BLEU。
• 嵌入增强编码器在所有任务中均表现出稳定贡献，表明其在强化初始语义表征方面的价值。
• 包含所有组件的完整模型达到最高性能，证明了集成架构中各模块之间的协同增益。