[论文解读] On Negative Interference in Multilingual Models: Findings and A Meta-Learning Treatment

Zirui Wang, Zachary C. Lipton+1 more|arXiv (Cornell University)|Oct 6, 2020

Topic Modeling参考文献 45被引用 6

一句话总结

本文对多语言模型中的负面干扰进行了系统性分析，表明其不仅影响高资源语言，也影响低资源语言，原因在于语言特定参数和梯度冲突。作者提出一种元学习方法，通过训练语言特定适配器来提升共享层的泛化能力，显著提升单语言性能和零样本跨语言迁移能力。

ABSTRACT

Modern multilingual models are trained on concatenated text from multiple languages in hopes of conferring benefits to each (positive transfer), with the most pronounced benefits accruing to low-resource languages. However, recent work has shown that this approach can degrade performance on high-resource languages, a phenomenon known as negative interference. In this paper, we present the first systematic study of negative interference. We show that, contrary to previous belief, negative interference also impacts low-resource languages. While parameters are maximally shared to learn language-universal structures, we demonstrate that language-specific parameters do exist in multilingual models and they are a potential cause of negative interference. Motivated by these observations, we also present a meta-learning algorithm that obtains better cross-lingual transferability and alleviates negative interference, by adding language-specific layers as meta-parameters and training them in a manner that explicitly improves shared layers' generalization on all languages. Overall, our results show that negative interference is more common than previously known, suggesting new directions for improving multilingual representations.

研究动机与目标

• 调查负面干扰（多语言模型中性能下降）是否不仅发生在高资源语言，也发生在低资源语言中。
• 识别负面干扰的根本原因，如梯度冲突和语言特定参数的竞争。
• 开发一种元学习框架，明确提升跨语言共享表征的泛化能力，以减少干扰。
• 在保持或提升单语言性能的同时，改善跨语言迁移能力。

提出的方法

• 训练单语言和双语言模型，以隔离并比较多语言设置下的性能下降。
• 通过消融研究分析语料规模、语言相似性、梯度相似性和参数相似性，以识别干扰触发因素。
• 引入元适配器：通过元学习训练的语言特定适配器模块，以增强共享层的泛化能力。
• 使用元优化来更新语言特定适配器参数，使共享层在所有语言间具有更好的泛化能力。
• 在下游任务上将元适配器方法与标准适配器、共享适配器和联合微调基线进行比较。
• 在零样本跨语言迁移（XNLI）和单语言命名实体识别（NER）任务上进行评估，以衡量单语言和跨语言性能。

实验结果

研究问题

• RQ1 负面干扰是否可能在低资源语言中发生，尽管人们预期存在正向迁移？
• RQ2 哪些结构或优化因素（如梯度冲突或语言特定参数）导致了负面干扰？
• RQ3 显式建模语言特定模块是否能改善共享表征的泛化能力？
• RQ4 在语言特定适配器上进行元学习是否能缓解干扰，并同时提升单语言和零样本跨语言性能？

主要发现

• 负面干扰影响高资源和低资源语言，挑战了多语言模型仅损害高资源语言的假设。
• 语言特定参数存在并争夺模型容量，通过梯度冲突导致性能下降。
• 所提出的元适配器方法在XNLI上达到67.9%的平均准确率，优于JointPair（67.1%）和XLM（67.8%），证明了更好的跨语言迁移能力。
• 元适配器收敛速度更快、更稳健，早期训练阶段损失下降更迅速。
• 共享适配器提升了单语言和跨语言性能，但被元适配器超越，后者更有效地解决了语言冲突。
• 该方法在单语言NER任务上缩小了与单语言模型的性能差距，同时提升了零样本迁移能力，展现出双重优势。