[论文解读] Transfer Learning across Low-Resource, Related Languages for Neural Machine Translation

Toan Nguyen, David Chiang|arXiv (Cornell University)|Aug 31, 2017

Natural Language Processing Techniques参考文献 8被引用 112

一句话总结

本文在 Zoph 等人的迁移学习基础上，通过共享源词汇（使用字节对编码 BPE）并进行音译，以利用相关的低资源土耳其语、乌兹别克语和维吾尔语英语对，特别是在使用 BPE 时提升神经机器翻译性能。

ABSTRACT

We present a simple method to improve neural translation of a low-resource language pair using parallel data from a related, also low-resource, language pair. The method is based on the transfer method of Zoph et al., but whereas their method ignores any source vocabulary overlap, ours exploits it. First, we split words using Byte Pair Encoding (BPE) to increase vocabulary overlap. Then, we train a model on the first language pair and transfer its parameters, including its source word embeddings, to another model and continue training on the second language pair. Our experiments show that transfer learning helps word-based translation only slightly, but when used on top of a much stronger BPE baseline, it yields larger improvements of up to 4.3 BLEU.

研究动机与目标

• 通过相关语言来改进极低资源语言对的神经机器翻译（NMT）。
• 探讨从相关的低资源父语言向低资源子语言进行迁移是否有帮助。
• 研究词汇重叠和子词分割对迁移学习效果的影响。
• 评估将迁移学习与 BPE 结合是否比单独采用任一方法带来更大提升。

提出的方法

• 使用带 Luong 风格注意力的两层注意力神经机器翻译模型。
• 遵循 Zoph 等人的迁移：用经过训练的父模型初始化子模型，然后在子数据上进行微调；转移源词嵌入但冻结目标词嵌入。
• 通过统一脚本转写（将维吾尔文转写为拉丁字母）并对父子语言词汇并集应用 BPE，来增加跨语言的词汇重叠。
• 从两种语言的源数据和目标数据的并集学习 BPE 合并规则，生成一个供两个模型共享的单一词汇表。
• 训练基于单词的基线和基于 BPE 的系统，探索不同的词汇规模和 BPE 操作次数（5k–60k）。
• 使用 dev/test 的分词 BLEU 进行评估，解码时应用长度归一化。

实验结果

研究问题

• RQ1 来自相关的、低资源的父语言的迁移学习是否会提高低资源子语言的翻译质量？
• RQ2 在父语言和子语言之间共享基于 BPE 的子词词汇是否会比简单迁移或无迁移更能提高迁移效果？
• RQ3 转写成统一脚本如何影响词汇重叠和迁移收益？
• RQ4 当与强基线的 BPE 结合时，迁移学习带来的提升是否具有相加效应？

主要发现

• 基于单词的迁移在低资源环境下提供的增益有限且不稳定。
• 基于 BPE 的系统优于基于单词的系统，在强基线的 BPE 上进行迁移会带来更大的提升。
• 以乌兹别克语作为土耳其语和维吾尔语的父语言，相比 BPE 基线，在土耳其语-英语上提高多达 0.8 BLEU，在维吾尔语-英语上提高多达 4.3 BLEU。
• 通过 BPE 共享词汇进行的迁移，在基线和非共享迁移设置上都产生了稳定的改进。
• BPE 与迁移的结合比任一方法单独使用更有效，可能是由于子词单位带来的词汇覆盖度增加。