[论文解读] Serial or Parallel? Plug-able Adapter for multilingual machine translation.

Yaoming Zhu, Jiangtao Feng+3 more|arXiv (Cornell University)|Apr 16, 2021

Natural Language Processing Techniques被引用 6

一句话总结

本文提出PAM，一种用于多语言机器翻译的即插即用适配器框架，通过针对多语言嵌入混淆和融合效应设计专用的嵌入适配器与层适配器，缓解性能下降问题。该方法在IWSLT、OPUS-100和WMT基准上均提升了翻译质量，优于序列适配器和多语言蒸馏基线模型。

ABSTRACT

Developing a unified multilingual translation model is a key topic in machine translation research. However, existing approaches suffer from performance degradation: multilingual models yield inferior performance compared to the ones trained separately on rich bilingual data. We attribute the performance degradation to two issues: multilingual embedding conflation and multilingual fusion effects. To address the two issues, we propose PAM, a Transformer model augmented with defusion adaptation for multilingual machine translation. Specifically, PAM consists of embedding and layer adapters to shift the word and intermediate representations towards language-specific ones. Extensive experiment results on IWSLT, OPUS-100, and WMT benchmarks show that \method outperforms several strong competitors, including series adapter and multilingual knowledge distillation.

研究动机与目标

• 解决多语言翻译模型相较于单语模型的性能下降问题。
• 识别多语言嵌入混淆与融合效应为性能下降的关键原因。
• 开发一种即插即用的适配器机制，实现在无需微调的情况下进行语言特定表示的自适应。
• 通过在表示中保持语言特异性，提升零样本和少样本多语言翻译性能。

提出的方法

• 引入嵌入适配器，以优化输入标记表示，减少跨语言嵌入干扰。
• 在Transformer编码器和解码器中部署层适配器，将中间隐藏状态适配至语言特定分布。
• 通过在嵌入层和层级别为每种语言学习独立的投影头，实现去融合适配。
• 以即插即用方式训练适配器，支持将适配器增量式集成到预训练多语言模型中。
• 采用参数高效的微调策略，在保留原始模型容量的同时，适应语言特定模式。
• 使用标准交叉熵损失端到端优化序列到序列翻译模型。

实验结果

研究问题

• RQ1 基于适配器的去融合方法在多语言翻译中能在多大程度上缓解性能下降？
• RQ2 在零样本和少样本设置下，PAM与序列适配器及多语言知识蒸馏相比表现如何？
• RQ3 将嵌入适配与层适配分离是否能提升多语言表示质量？
• RQ4 即插即用适配器设计是否能在多种低资源与高资源语言对上保持强大性能？

主要发现

• PAM在IWSLT多语言翻译基准上达到最先进性能，优于包括序列适配器在内的强基线模型。
• 在OPUS-100上，PAM在翻译质量上实现显著提升，尤其在低资源语言对上表现突出。
• 模型在多个语言方向上均表现出一致改进，表明对语言多样性的鲁棒性。
• 消融实验确认嵌入适配器与层适配器对性能提升具有独立贡献，验证了去融合设计的有效性。
• PAM仅通过极少的参数更新即取得具有竞争力的结果，证实其高效性与即插即用兼容性。
• 该方法减少了多语言设置下的负迁移效应，尤其在零样本翻译场景中表现显著。