[论文解读] Triangular Architecture for Rare Language Translation

Shuo Ren, Wenhu Chen+4 more|arXiv (Cornell University)|May 13, 2018

Natural Language Processing Techniques参考文献 24被引用 16

一句话总结

本文提出一种三角架构（TA-NMT），通过联合训练 (X,Y) 和 (Y,Z) 之间的翻译模型，并利用统一的双向EM算法，借助一种丰富的中间语言 Y，显著提升低资源神经机器翻译（NMT）在罕见语言对 (X,Z) 上的表现。该方法在 MultiUN 和 IWSLT2012 数据集上表现优异，尤其在结合后翻译（back-translation）时，展现出在低资源设置下的显著性能提升。

ABSTRACT

Neural Machine Translation (NMT) performs poor on the low-resource language pair $(X,Z)$, especially when $Z$ is a rare language. By introducing another rich language $Y$, we propose a novel triangular training architecture (TA-NMT) to leverage bilingual data $(Y,Z)$ (may be small) and $(X,Y)$ (can be rich) to improve the translation performance of low-resource pairs. In this triangular architecture, $Z$ is taken as the intermediate latent variable, and translation models of $Z$ are jointly optimized with a unified bidirectional EM algorithm under the goal of maximizing the translation likelihood of $(X,Y)$. Empirical results demonstrate that our method significantly improves the translation quality of rare languages on MultiUN and IWSLT2012 datasets, and achieves even better performance combining back-translation methods.

研究动机与目标

• 为解决神经机器翻译（NMT）在低资源语言对上表现不佳的问题，特别是当目标语言 Z 为罕见语言时。
• 利用丰富的资源语言对 (X,Y) 和低资源语言对 (Y,Z) 的双语数据，提升低资源语言对 (X,Z) 的翻译质量。
• 开发一种统一的训练框架，通过基于EM的方法联合优化多个翻译模型。
• 通过伪数据生成和类似强化学习的奖励信号，实现翻译模型间的相互提升。

提出的方法

• 引入一种丰富的中间语言 Y，构建连接源语言 X、目标语言 Z 和 Y 的三角架构，实现数据与模型层面的知识迁移。
• 通过潜在变量 Z 建模从 X 到 Y 的翻译，将 X→Y 分解为两个阶段：X→Z 和 Z→Y，两者联合训练。
• 使用统一的双向EM算法优化四个翻译模型：p(z|x)、p(x|z)、p(z|y) 和 p(y|z)，实现相互优化。
• 在E-步骤中，利用当前模型参数生成伪双语数据，并基于对数似然项分配时间步奖励，模拟强化学习更新。
• 通过后翻译技术利用单语数据，作为补充手段进一步提升性能。
• 在两个方向上应用EM框架：通过 Z 实现 X→Y 和 Y→X，实现对称的模型更新。

实验结果

研究问题

• RQ1 引入一种丰富的中间语言 Y 是否能提升低资源语言对 (X,Z) 的翻译性能？
• RQ2 如何联合利用 (X,Y) 和 (Y,Z) 的双语数据，以增强 (X,Z) 翻译模型的性能？
• RQ3 统一的双向EM框架是否能有效优化多个翻译模型，并实现相互提升？
• RQ4 所提出的方法是否优于现有的低资源NMT技术，如后翻译和知识蒸馏？
• RQ5 通过结合单语数据增强技术（如后翻译），该方法是否能进一步提升性能？

主要发现

• TA-NMT 方法在 MultiUN 和 IWSLT2012 数据集上，对罕见语言对的翻译质量实现了显著提升。
• 在 IWSLT2012 英希翻译任务中，该方法优于基线 RNNSearch、知识蒸馏和后翻译方法。
• 通过双向EM框架的联合优化，实现了 (X,Z) 和 (Y,Z) 翻译模型之间的相互提升。
• 当与后翻译结合时，TA-NMT 实现了更大的性能增益，表明其与单语数据增强技术具有良好的兼容性与协同效应。
• E-步骤中的时间步奖励机制有效引导模型更新，高奖励输出被强化，低质量输出被惩罚。
• 即使 (Y,Z) 的双语数据有限，该方法仍表现稳健，显示出在低资源设置下的强鲁棒性。