[论文解读] Simple, Scalable Adaptation for Neural Machine Translation

Ankur Bapna, Naveen Arivazhagan+1 more|arXiv (Cornell University)|Sep 18, 2019

Natural Language Processing Techniques参考文献 37被引用 13

一句话总结

本文提出在预训练的神经机器翻译（NMT）模型中插入轻量级适配器层，以实现高效、参数高效的多领域和多语言适应。通过仅微调这些小型、任务特定的适配器，同时保持主模型参数冻结，该方法在领域适应和大规模多语言翻译（103种语言）中实现了与全量微调相当的性能，显著减少了参数开销，并消除了对超参数调优的需求。

ABSTRACT

Fine-tuning pre-trained Neural Machine Translation (NMT) models is the dominant approach for adapting to new languages and domains. However, fine-tuning requires adapting and maintaining a separate model for each target task. We propose a simple yet efficient approach for adaptation in NMT. Our proposed approach consists of injecting tiny task specific adapter layers into a pre-trained model. These lightweight adapters, with just a small fraction of the original model size, adapt the model to multiple individual tasks simultaneously. We evaluate our approach on two tasks: (i) Domain Adaptation and (ii) Massively Multilingual NMT. Experiments on domain adaptation demonstrate that our proposed approach is on par with full fine-tuning on various domains, dataset sizes and model capacities. On a massively multilingual dataset of 103 languages, our adaptation approach bridges the gap between individual bilingual models and one massively multilingual model for most language pairs, paving the way towards universal machine translation.

研究动机与目标

• 解决在多领域和低资源语言中，神经机器翻译（NMT）适应时全量微调效率低下和可扩展性差的问题。
• 通过使单一模型能够同时适应多个任务，减少对每种语言或领域维护独立模型的需求。
• 开发一种参数高效、对超参数不敏感的方法，避免在适应过程中发生灾难性遗忘。
• 在大规模多语言设置下提升低资源语言的翻译质量，同时不降低高资源语言对的性能。
• 通过根据任务复杂度和数据规模调整适配器容量，实现灵活的适应能力。

提出的方法

• 在预训练的Transformer NMT模型各层之间注入小型、任务特定的适配器层，同时保持主模型参数冻结。
• 使用带有瓶颈结构（下投影、ReLU、上投影）的残差适配器模块，以控制参数效率和容量。
• 仅在目标领域或语言特定的数据上微调适配器参数，而基础模型保持固定。
• 在一个包含103种语言的全局多语言模型上进行训练，然后为每对语言注入并微调特定于语言对的适配器。
• 根据任务复杂度和数据规模调整适配器瓶颈维度（b=2048或b=4096），对高资源语言使用更大的适配器。
• 在各个独立微调阶段完成后，将所有微调后的适配器合并为一个单一模型，以支持多任务推理。

实验结果

研究问题

• RQ1 是否可以仅通过少量、任务特定的适配器层，高效地将单一预训练NMT模型适应到多个领域和语言？
• RQ2 基于适配器的适应方法是否能在显著减少参数开销和训练复杂度的同时，实现与全量微调相当的性能？
• RQ3 适配器能否有效弥合双语模型与单一多语言模型之间的性能差距，特别是在低资源语言对上？
• RQ4 适配器容量（瓶颈大小）如何影响不同数据规模和语言资源水平下的性能表现？
• RQ5 适配器是否能够同时适应多个领域和语言，而不会引发灾难性遗忘？

主要发现

• 基于适配器的适应在各种领域、数据集规模和模型容量下，实现了与全量微调相当的翻译性能，且仅更新了极小部分参数。
• 在103种语言的多语言NMT设置中，适配器显著缩小了多语言模型与双语模型之间的性能差距，尤其对低资源语言对效果显著。
• 当适配器尺寸增大时（如b=4096），高资源语言对的性能进一步提升，证明了适配器容量可扩展的灵活性。
• 该方法通过避免为每种语言或领域单独训练模型，显著降低了内存和训练成本，实现了可扩展的多任务适应。
• 尽管性能有所提升，但与双语基线相比，高资源语言对翻译成英语时仍存在轻微性能下降，表明仍有进一步优化空间。
• 由于可训练参数数量极少，适配器微调的收敛速度远快于从头训练，通常在20k–50k步内完成，具体取决于语料规模。