[论文解读] Phylogeny-Inspired Adaptation of Multilingual Models to New Languages

Fahim Faisal, Antonios Anastasopoulos|arXiv (Cornell University)|May 19, 2022

Natural Language Processing Techniques被引用 6

一句话总结

该论文提出了一种受系统发育启发的适配器框架，通过在具有遗传关系的语言适配器之间共享参数，提升了跨语言迁移效果。通过将适配器按语言系谱树结构化，该方法在句法和语义任务上实现了超过20%的相对性能提升——尤其在未见过的语言上表现显著，同时保持与标准适配器相同的参数量。

ABSTRACT

Large pretrained multilingual models, trained on dozens of languages, have delivered promising results due to cross-lingual learning capabilities on variety of language tasks. Further adapting these models to specific languages, especially ones unseen during pre-training, is an important goal towards expanding the coverage of language technologies. In this study, we show how we can use language phylogenetic information to improve cross-lingual transfer leveraging closely related languages in a structured, linguistically-informed manner. We perform adapter-based training on languages from diverse language families (Germanic, Uralic, Tupian, Uto-Aztecan) and evaluate on both syntactic and semantic tasks, obtaining more than 20% relative performance improvements over strong commonly used baselines, especially on languages unseen during pre-training.

研究动机与目标

• 提升多语言模型在低资源和未见过语言上的跨语言迁移能力。
• 解决在预训练阶段未包含的语言适应多语言模型时性能有限的挑战。
• 利用语言关系——特别是语言系统发育——来指导高效的适配器参数共享。
• 证明结构化、基于语言学的适配器共享优于标准的孤立适配器训练方法。
• 通过极小的额外参数，扩展多语言NLP系统的覆盖范围，涵盖代表性不足和原住民语言。

提出的方法

• 基于历史语言学关系构建语言的系统发育树，以定义分层的适配器共享机制。
• 在系统发育树的顶端引入一个根适配器，以在家族内所有相关语言之间共享参数。
• 在每种目标语言的单语文本上，使用掩码语言建模目标联合训练适配器。
• 将适配器堆叠结构化为[根适配器, 语言适配器, 任务适配器]，以实现在相关语言间的共享表示。
• 将该框架应用于多种语言系（日耳曼语系、乌拉尔语系、图潘语系、乌托-阿兹特克语系），并在句法和语义任务上进行评估。
• 保持与标准适配器相同的总参数量，以确保公平比较和计算效率。

Figure 2: Visualizing three different task results across languages (marker size relative to MLM training data size). In most cases, and especially in languages unseen during pre-training, our hierarchical phylogeny-inspired adapters outperform the baselines.

实验结果

研究问题

• RQ1 将语言系统发育融入适配器参数共享是否能提升零样本和少样本的跨语言迁移？
• RQ2 在遗传相关语言间共享适应是否相比孤立适配器训练能带来对未见过语言的更好性能？
• RQ3 分层的系统发育结构如何影响在类型学距离各异的语言系中的性能表现？
• RQ4 该方法是否能在不增加可训练参数数量的前提下实现显著的性能提升？
• RQ5 强制在高度分化的语言亚组（如印欧语系的分支：日耳曼语、罗曼语、斯拉夫语）之间共享表示，对整体性能有何影响？

主要发现

• 受系统发育启发的适配器框架在句法和语义任务上相比强基线模型实现了超过20%的相对性能提升。
• 性能提升在预训练阶段未见过的语言上尤为显著，证明了强大的零样本泛化能力。
• 该方法保持与标准适配器相同的总参数量，但通过结构化共享实现了显著更优的结果。
• 对于同属一个语言家族的语言，分层适配器结构能实现更高效的参数利用并加快收敛速度。
• 该方法在多种语言系中表现出鲁棒性，包括低资源的乌拉尔语系和美洲原住民语言。
• 强制在高度分化的印欧语系亚组（如日耳曼语、罗曼语、斯拉夫语）之间共享表示会导致性能下降，表明广泛系统发育共享存在局限性。