[论文解读] On the Strengths of Cross-Attention in Pretrained Transformers for Machine Translation.

Mozhdeh Gheini, Xiang Ren+1 more|arXiv (Cornell University)|Apr 18, 2021

Topic Modeling被引用 2

一句话总结

本文表明，在为机器翻译微调预训练的Transformer模型时，仅需更新交叉注意力参数即可添加新语言，实现与最小参数更新相当的竞争力BLEU分数。这导致了跨语言对齐的类型嵌入，减少灾难性遗忘，并实现零样本翻译。

ABSTRACT

We study the power of cross-attention in the Transformer architecture within the context of machine translation. In transfer learning experiments, where we fine-tune a translation model on a dataset with one new language, we find that, apart from the new language's embeddings, only the cross-attention parameters need to be fine-tuned to obtain competitive BLEU performance. We provide insights into why this is the case and further find that limiting fine-tuning in this manner yields cross-lingually aligned type embeddings. The implications of this finding include a mitigation of catastrophic forgetting in the network and the potential for zero-shot translation.

研究动机与目标

• 研究交叉注意力在将预训练Transformer模型适应新语言进行机器翻译中的作用。
• 通过识别Transformer架构中可在微调期间冻结的组件，解决持续学习过程中的灾难性遗忘问题。
• 通过分析学习到的嵌入的跨语言对齐性，探索零样本翻译的潜力。
• 理解为何仅更新交叉注意力参数即可在向多语言模型添加新语言时实现有效适应。

提出的方法

• 仅通过更新交叉注意力参数，同时冻结所有其他层，对预训练的多语言Transformer模型在新语言上进行微调。
• 仅使用新语言的嵌入作为输入，微调过程中不更新这些嵌入。
• 使用标准的序列到序列目标函数，结合交叉注意力机制，对齐源语言和目标语言的表示。
• 分析得到的交叉注意力权重和标记嵌入，以评估跨语言对齐性和泛化能力。
• 通过在新语言翻译任务上的BLEU分数评估性能，以衡量参数高效微调策略的有效性。
• 与全量微调及其他参数高效方法进行比较，以验证方法的鲁棒性和效率。

实验结果

研究问题

• RQ1 仅微调交叉注意力参数是否足以在向预训练多语言Transformer模型添加新语言时实现具有竞争力的翻译性能？
• RQ2 将微调限制在交叉注意力层是否能保持或增强模型嵌入中的跨语言对齐性？
• RQ3 这种参数高效方法在持续多语言学习中在多大程度上减轻了灾难性遗忘？
• RQ4 该方法是否能在不针对目标语言进行显式微调的情况下实现零样本翻译？
• RQ5 在多语言Transformer设置中，交叉注意力在实现跨语言泛化方面起到什么作用？

主要发现

• 仅微调交叉注意力参数而冻结其余所有层，在新语言翻译任务上实现了具有竞争力的BLEU分数。
• 该方法导致了跨语言对齐的类型嵌入，表明模型通过交叉注意力学习到了跨语言的共享表示。
• 通过冻结大部分模型参数，该方法显著减少了在新语言上持续学习过程中的灾难性遗忘。
• 参数高效的策略实现了零样本翻译，因为模型能够在未见过的语言对上泛化，而无需在这些语言对上进行显式微调。
• 即使仅更新一小部分参数，交叉注意力机制在实现向新语言的有效迁移中起到了核心作用。
• 尽管更新极少，模型在源语言上的性能仍保持强劲，表明交叉注意力是保持多语言泛化能力的关键。