[论文解读] Multilingual Domain Adaptation for NMT: Decoupling Language and Domain Information with Adapters

Asa Cooper Stickland, Alexandre Bérard+1 more|arXiv (Cornell University)|Oct 18, 2021

Natural Language Processing Techniques被引用 10

一句话总结

本文提出一种基于适配器模块的多语言神经机器翻译（NMT）领域自适应方法，通过解耦语言与领域信息，实现高效、参数高效的领域与语言新领域适应。结合仅解码器的领域适配器、领域适配器丢弃（DADrop）以及以英语为中心的回译，该方法减轻了灾难性遗忘，在无领域数据的跨领域语言对上实现了3–4 BLEU的性能提升。

ABSTRACT

Adapter layers are lightweight, learnable units inserted between transformer layers. Recent work explores using such layers for neural machine translation (NMT), to adapt pre-trained models to new domains or language pairs, training only a small set of parameters for each new setting (language pair or domain). In this work we study the compositionality of language and domain adapters in the context of Machine Translation. We aim to study, 1) parameter-efficient adaptation to multiple domains and languages simultaneously (full-resource scenario) and 2) cross-lingual transfer in domains where parallel data is unavailable for certain language pairs (partial-resource scenario). We find that in the partial resource scenario a naive combination of domain-specific and language-specific adapters often results in `catastrophic forgetting' of the missing languages. We study other ways to combine the adapters to alleviate this issue and maximize cross-lingual transfer. With our best adapter combinations, we obtain improvements of 3-4 BLEU on average for source languages that do not have in-domain data. For target languages without in-domain data, we achieve a similar improvement by combining adapters with back-translation. Supplementary material is available at https://tinyurl.com/r66stbxj

研究动机与目标

• 在不重新训练完整模型的前提下，实现多语言NMT模型对新领域和新语言的高效、参数高效的适应。
• 解决在部分资源场景下（某些语言对缺乏领域内数据）出现的灾难性遗忘问题。
• 研究如何有效组合语言适配器与领域适配器，以实现NMT中的跨语言领域迁移。
• 通过优化适配器位置与正则化策略，提升对无领域数据语言的零样本迁移性能。
• 从性能、模块化与可扩展性角度，对比基于适配器的自适应与传统领域标签微调方法。

提出的方法

• 在Transformer块之间插入轻量级适配器层，以实现多语言NMT模型的参数高效微调。
• 独立训练语言适配器（LAs）与领域适配器（DAs），随后在多领域、多语言推理中组合使用。
• 使用领域适配器丢弃（DADrop）进行正则化，减少对特定领域的过拟合，提升对未见语言的泛化能力。
• 应用以英语为中心的回译来增强单语领域内数据，提升在跨领域目标语言上的性能。
• 实验不同适配器位置配置——仅编码器、仅解码器或完整层——并比较其对性能与遗忘的影响。
• 在全资源设置（所有语言对均有领域内数据）与部分资源设置（仅部分语言对有领域内数据）下评估模型。

实验结果

研究问题

• RQ1 在多语言NMT中，语言适配器与领域适配器能否有效组合，以实现跨语言领域迁移？
• RQ2 在推理过程中，语言与领域适配器的简单组合是否会导致无领域数据语言的灾难性遗忘？
• RQ3 在部分资源设置下，适配器位置（仅编码器 vs. 仅解码器 vs. 完整层）如何影响性能与泛化能力？
• RQ4 正则化技术（如领域适配器丢弃与回译）是否能缓解灾难性遗忘，并提升对未见语言的零样本迁移性能？
• RQ5 从性能、参数效率与模块化角度，基于适配器的自适应与传统领域标签微调相比有何差异？

主要发现

• 仅解码器的领域适配器结合领域适配器丢弃与回译，在缺乏领域内数据的跨领域源语言上平均实现3–4 BLEU的性能提升。
• 仅编码器的领域适配器相比完整层或仅解码器配置，能更有效地减轻灾难性遗忘，并提升无领域数据语言的性能。
• 语言与领域适配器的简单组合在无领域数据语言上会导致错误语言的翻译输出。
• 仅通过冻结语言适配器与每层单个适配器，模型仅需630万可调参数，性能优于参数量达7900万的标签模型，同时支持模块化、增量式领域自适应。
• 回译能提升在跨领域目标语言上的性能，但会损害在跨领域源语言上的表现，表明数据增强策略存在权衡。
• 基于适配器的模型比标签模型更具模块化与可扩展性，因为新增领域仅需训练新适配器，无需重新训练整个模型。