[论文解读] Orthogonal Language and Task Adapters in Zero-Shot Cross-Lingual Transfer

Marko Vidoni, Ivan Vulić+1 more|arXiv (Cornell University)|Dec 11, 2020

Topic Modeling参考文献 33被引用 25

一句话总结

本文提出正交语言与任务适配器（orthoadapters），用于大规模多语言转换器中的零样本跨语言迁移，通过强制适配器表征与预训练模型特征正交，以注入新颖且非冗余的知识。实验表明性能显著提升，尤其在复杂NLI任务中，证明正交性通过最小化冗余改善了迁移效果，但最优配置在很大程度上取决于任务与目标语言。

ABSTRACT

Adapter modules, additional trainable parameters that enable efficient fine-tuning of pretrained transformers, have recently been used for language specialization of multilingual transformers, improving downstream zero-shot cross-lingual transfer. In this work, we propose orthogonal language and task adapters (dubbed orthoadapters) for cross-lingual transfer. They are trained to encode language- and task-specific information that is complementary (i.e., orthogonal) to the knowledge already stored in the pretrained transformer's parameters. Our zero-shot cross-lingual transfer experiments, involving three tasks (POS-tagging, NER, NLI) and a set of 10 diverse languages, 1) point to the usefulness of orthoadapters in cross-lingual transfer, especially for the most complex NLI task, but also 2) indicate that the optimal adapter configuration highly depends on the task and the target language. We hope that our work will motivate a wider investigation of usefulness of orthogonality constraints in language- and task-specific fine-tuning of pretrained transformers.

研究动机与目标

• 为解决大规模多语言转换器（MMTs）中的多语言诅咒问题，即低资源语言的表征质量下降。
• 通过确保适配器模块捕捉新颖且非冗余的信息，而非重复预训练MMT参数中的已有知识，从而改善零样本跨语言迁移。
• 探究在适配器表征与预训练MMT层之间强制正交性是否能提升下游迁移性能。
• 评估语言特定与任务特定orthoadapters在多样化任务与低资源语言上的有效性。
• 探索正交性约束是否能带来更高效且更有效的适配器微调知识注入。

提出的方法

• 提出orthoadapters：在训练中引入额外正交性损失的适配器模块，以确保其隐藏表征与对应MMT层表征正交。
• 通过在单语语料上进行掩码语言建模训练语言orthoadapters，训练期间应用正交性损失，以强化与预训练MMT特征的互补性。
• 在源语言数据上训练任务orthoadapters，使用冻结的源语言orthoadapters，以交叉熵损失优化任务目标，并应用相同的正交性约束。
• 通过将源语言orthoadapters替换为目标语言orthoadapters，同时保持任务orthoadapters固定，实现零样本迁移。
• 采用残差连接机制融合MMT与适配器输出，确保正交性约束作用于适配器的贡献部分。
• 在10种语言类型多样的语言上，对三个任务（POS标注、命名实体识别、自然语言推理）进行评估，比较正交与非正交适配器变体。

实验结果

研究问题

• RQ1 在适配器表征与预训练MMT层之间强制正交性是否能提升零样本跨语言迁移性能？
• RQ2 orthoadapters在不同自然语言处理任务中的表现如何，尤其是在任务复杂性方面？
• RQ3 正交性效果在多大程度上依赖于目标语言及其资源水平？
• RQ4 任务特定orthoadapters是否能从正交性约束中获益，若能，其适用条件是什么？
• RQ5 使用语言特定与任务特定orthoadapters之间是否存在权衡，其组合如何影响性能？

主要发现

• 正交语言适配器（l-ort）在复杂NLI任务中显著提升零样本跨语言迁移性能，其中l-ort+t-noo配置实现最高平均性能。
• 在POS标注任务中，l-ort+t-noo相较于基线略有提升，主要由中文的改进驱动，但各语言间结果不一致。
• 在命名实体识别任务中，l-ort+t-noo实现适度平均增益，但性能波动较大——在如伊洛卡诺语（ilo）和阿拉伯语（ar）中表现提升，而在如克丘亚语（qu）和马里埃尔语（mhr）中反而下降。
• 任务特定orthoadapters（t-ort）在使用非拉丁脚本的语言（如阿拉伯语、中文、印地语）的UD-POS任务中取得显著增益，但在NLI任务中无益处甚至导致性能下降。
• 结合语言与任务orthoadapters通常导致性能下降，表明可能存在干扰或优化目标冲突。
• 正交性的最优使用高度依赖于任务与语言，表明不存在适用于所有场景的通用适配器配置。