[论文解读] Transfer to a Low-Resource Language via Close Relatives: The Case Study on Faroese

Vésteinn Snæbjarnarson, Annika Simonsen+2 more|arXiv (Cornell University)|Apr 18, 2023

Natural Language Processing Techniques参考文献 47被引用 7

一句话总结

本文提出了一种基于语言学启发的迁移学习方法，用于低资源语言，通过利用语系相近的高资源语言——具体而言，使用斯堪的纳维亚语种模型来提升法罗语自然语言处理任务的性能。通过在全部五种斯堪的纳维亚语言上训练多语言模型，并使用少量法罗语单语语料进行微调，该方法在语义文本相似度（STS）任务上显著优于标准多语言模型（如XLM-R），在新发布的法罗语STS数据集上达到74.7%的F1分数。

ABSTRACT

Multilingual language models have pushed state-of-the-art in cross-lingual NLP transfer. The majority of zero-shot cross-lingual transfer, however, use one and the same massively multilingual transformer (e.g., mBERT or XLM-R) to transfer to all target languages, irrespective of their typological, etymological, and phylogenetic relations to other languages. In particular, readily available data and models of resource-rich sibling languages are often ignored. In this work, we empirically show, in a case study for Faroese -- a low-resource language from a high-resource language family -- that by leveraging the phylogenetic information and departing from the 'one-size-fits-all' paradigm, one can improve cross-lingual transfer to low-resource languages. In particular, we leverage abundant resources of other Scandinavian languages (i.e., Danish, Norwegian, Swedish, and Icelandic) for the benefit of Faroese. Our evaluation results show that we can substantially improve the transfer performance to Faroese by exploiting data and models of closely-related high-resource languages. Further, we release a new web corpus of Faroese and Faroese datasets for named entity recognition (NER), semantic text similarity (STS), and new language models trained on all Scandinavian languages.

研究动机与目标

• 通过整合语言系谱关系，解决通用多语言模型（如XLM-R）在低资源场景下的局限性。
• 探究高资源同源语言（丹麦语、挪威语、瑞典语、冰岛语）是否能提升向法罗语（一种低资源日耳曼语言）的迁移性能。
• 开发并发布新的法罗语专用资源，包括网页语料、命名实体识别（NER）和STS数据集，以及在所有斯堪的纳维亚语言上训练的多语言语言模型。
• 证明在小规模法罗语单语语料上进行持续预训练，可进一步提升下游任务性能，超越仅使用相关语言数据的效果。
• 挑战大规模多语言模型在零样本迁移中为最优的假设，特别是在存在大量资源的密切关联语言时。

提出的方法

• 在全部五种斯堪的纳维亚语言（丹麦语、挪威语、瑞典语、冰岛语、法罗语）上训练多语言语言模型（ScandiBERT），利用其共享的语言特征和形态句法相似性。
• 应用Wechsel适配方法，将多语言模型的表征对齐至法罗语，从而实现对下游任务的有效零样本迁移。
• 在预训练后，使用跨语言监督和目标语言数据，对任务特定的法罗语数据集（NER和STS）进行微调。
• 通过消融研究比较仅使用多语言模型（ScandiBERT）与XLM-R及其变体（有无在法罗语数据上进行持续预训练）的性能。
• 将丹麦语、法罗语、冰岛语、挪威语和瑞典语的NER标注统一映射为单一一致的标注模式，以支持联合训练。
• 发布一个新的法罗语单语网页语料和一个新的法罗语STS数据集，均由母语者标注，以支持未来研究。

实验结果

研究问题

• RQ1 与使用通用多语言模型（如XLM-R）相比，利用高资源、语系相近的斯堪的纳维亚语言是否能提升法罗语的零样本跨语言迁移性能？
• RQ2 在小规模法罗语单语语料上进行持续预训练，在多大程度上能提升下游迁移性能？
• RQ3 在所有五种斯堪的纳维亚语言上训练的多语言模型，在捕捉低资源语言迁移的语义相似性方面效果如何？
• RQ4 语言系谱上的亲缘关系对迁移性能有何影响，特别是在语义层面的任务（如语义文本相似度）中？
• RQ5 在斯堪的纳维亚语言间统一NER标注模式，能否实现对法罗语的有效跨语言预训练和微调？

主要发现

• 在所有五种斯堪的纳维亚语言上训练的ScandiBERT模型，在所有下游任务中均优于XLM-R，在新发布的法罗语STS数据集上达到74.7%的F1分数，显著高于XLM-R的65.7%。
• 在小规模法罗语单语语料上进行持续预训练（XLM-R-fc3）后，STS性能进一步提升至74.7% F1，证明即使在低资源环境下，目标语言数据也具有重要价值。
• 性能最佳的NER模型（SB-no-fo-fc3）在先在冰岛语数据上进行预微调、再在法罗语FoNE数据集上微调后，达到91.4%的F1，表明像冰岛语这样的高资源同源语言在迁移中极为有效。
• 在所有斯堪的纳维亚语言上训练的模型（ScandiBERT）在STS任务上达到96.8% F1，优于XLM-R（81.0%）及其他基线模型，表明在相关语言上进行多语言预训练比通用多语言模型更有效。
• ScandiBERT在NER任务上的表现稳定且鲁棒，当在联合斯堪的纳维亚NER数据上微调时，F1达到91.8%，表明在相关语言上联合预训练可增强泛化能力。
• 新发布的法罗语网页语料及两个新任务特定数据集（NER和STS）为未来在法罗语及类似语言上的低资源自然语言处理研究奠定了基础。