[论文解读] Training Multilingual Machine Translation by Alternately Freezing Language-Specific Encoders-Decoders

Carlos Escolano, Marta R. Costa‐jussà+2 more|arXiv (Cornell University)|May 29, 2020

Natural Language Processing Techniques参考文献 20被引用 8

一句话总结

该论文提出一种多语言神经机器翻译系统，采用语言特定的编码器与解码器，并通过交替冻结模块来强制学习共享的中间表示。该方法可在不重新训练的情况下实现增量式添加语言，提升初始语言的翻译性能，并在下游任务（如自然语言蕴涵）中获得更优的句子表示，尽管在零样本和新语言翻译设置中存在轻微性能下降。

ABSTRACT

We propose a modular architecture of language-specific encoder-decoders that constitutes a multilingual machine translation system that can be incrementally extended to new languages without the need for retraining the existing system when adding new languages. Differently from previous works, we simultaneously train $N$ languages in all translation directions by alternately freezing encoder or decoder modules, which indirectly forces the system to train in a common intermediate representation for all languages. Experimental results from multilingual machine translation show that we can successfully train this modular architecture improving on the initial languages while falling slightly behind when adding new languages or doing zero-shot translation. Additional comparison of the quality of sentence representation in the task of natural language inference shows that the alternately freezing training is also beneficial in this direction.

研究动机与目标

• 解决在不重新训练现有组件的情况下，向多语言神经机器翻译系统中添加新语言的挑战。
• 在模块化、语言特定的编码器-解码器架构中，提升共享中间表示在不同语言间的泛化能力。
• 在保持现有语言性能的同时，实现系统的增量式扩展。
• 评估交替冻结编码器-解码器模块是否相比标准联合训练，能获得更优的跨语言句子表示。
• 将所提方法与先前的、语言特定的、非共享参数方法在多语言翻译和零样本迁移任务中进行比较。

提出的方法

• 系统为每种语言使用独立的、非共享的编码器和解码器，每个模块均被训练以映射到和来自一个共同的中间表示空间。
• 在训练过程中，通过在不同语言对之间交替冻结编码器和解码器模块，以强制实现兼容性和共享表示学习。
• 训练调度循环遍历所有 N×N 个翻译方向，在每次迭代中仅冻结一个模块（编码器或解码器），而训练另一个模块。
• 冻结调度表示为 f-n、n-f 或 n-n，其中 f 表示冻结模块，n 表示正常训练的模块。
• 通过仅训练新语言的编码器和解码器，同时保持现有模块冻结，即可实现新语言的添加。
• 使用 UMAP 可视化句子和词嵌入，以比较基础训练方案与冻结训练方案之间的表示质量。

实验结果

研究问题

• RQ1 交替冻结语言特定的编码器与解码器是否能提升多语言神经机器翻译中共享中间表示的质量？
• RQ2 该训练策略是否能有效实现增量式添加新语言，而无需重新训练现有组件？
• RQ3 与标准联合训练相比，该方法在初始语言翻译、新语言添加和零样本翻译方面的翻译质量表现如何？
• RQ4 从冻结训练方案中学习到的句子表示在下游任务（如自然语言蕴涵）中的性能提升程度如何？
• RQ5 在冻结训练设置下，新语言的表示与已有语言的表示相比有何差异？

主要发现

• 交替冻结训练方法在初始语言翻译任务中达到具有竞争力的性能，优于基线方法。
• 在添加新语言时，系统的翻译性能相比基线略有下降，但模块化设计允许在不重新训练的情况下实现增量扩展。
• 该方法在自然语言蕴涵任务中表现出显著改进，使用冻结架构生成的句子表示可实现更高的分类准确率。
• 句子表示的可视化显示，冻结训练调度使跨语言的聚类更加紧凑且一致，尤其体现在后期添加的语言（如俄语）中。
• 冻结模型的词嵌入保持了语言特定的聚类，表明尽管词级表示仍保持独立，但共享中间空间显著提升了跨语言对齐能力。
• 在定性翻译示例中，冻结模型比基线模型更准确地保留了关键术语（如 'photo ID'），后者常将此类术语错误转写。