[论文解读] UXLA: A Robust Unsupervised Data Augmentation Framework for Zero-Resource Cross-Lingual NLP

M Saiful Bari, Tasnim Mohiuddin+1 more|arXiv (Cornell University)|Apr 27, 2020

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

UXLA 是一种新颖的无监督数据增强框架，通过联合执行基于多语言掩码语言模型的数据增强与自训练及无监督样本选择，提升了零资源跨语言迁移性能。该框架在三个任务（XNER、XNLI 和 PAWS-X）中均取得最先进结果，尤其在结构差异大且资源匮乏的语言（如乌尔都语 +28.54% F1 和缅甸语）上表现出显著提升。

ABSTRACT

Transfer learning has yielded state-of-the-art (SoTA) results in many supervised NLP tasks. However, annotated data for every target task in every target language is rare, especially for low-resource languages. We propose UXLA, a novel unsupervised data augmentation framework for zero-resource transfer learning scenarios. In particular, UXLA aims to solve cross-lingual adaptation problems from a source language task distribution to an unknown target language task distribution, assuming no training label in the target language. At its core, UXLA performs simultaneous self-training with data augmentation and unsupervised sample selection. To show its effectiveness, we conduct extensive experiments on three diverse zero-resource cross-lingual transfer tasks. UXLA achieves SoTA results in all the tasks, outperforming the baselines by a good margin. With an in-depth framework dissection, we demonstrate the cumulative contributions of different components to its success.

研究动机与目标

• 解决因目标语言标注数据有限且源语言与目标语言间缺乏结构相似性，导致低资源及结构差异大的语言跨语言迁移性能不佳的问题。
• 克服现有 NLP 数据增强方法的局限性，这些方法通常依赖标注数据或平行语料，在无监督、零资源设置下表现不佳。
• 开发一种稳健的无监督框架，提升多语言模型泛化能力，且无需目标语言的任何标注数据。
• 通过同步自训练、虚拟数据生成与置信度感知蒸馏策略，实现有效的跨语言适应。
• 在多样化的任务与语言对上验证框架的有效性，包括低资源及结构差异大的语言。

提出的方法

• 利用多语言掩码语言模型对源语言和目标语言句子进行扰动，生成虚拟训练样本，围绕每个输入构建邻域分布。
• 通过两阶段协同蒸馏的多语言协同训练过程，提升模型在伪标签目标数据上的鲁棒性与标签可靠性。
• 在训练中引入置信度惩罚，降低对伪标签的过度自信，提升泛化能力，尤其在低资源设置下表现更优。
• 采用无监督样本选择策略，过滤低质量的伪标签样本，仅使用高置信度预测结果进行训练。
• 利用预训练的多语言掩码语言模型（如 XLM-R）作为骨干网络，用于虚拟数据生成与标签预测，且不微调语言模型本身。
• 在统一框架中整合数据增强与自训练，通过交替生成增强数据与利用蒸馏优化模型预测。

实验结果

研究问题

• RQ1 在目标语言无任何标注数据的零资源设置下，无监督数据增强是否能提升跨语言迁移性能？
• RQ2 与现有基线相比，该框架在低资源及结构差异大的语言上的表现如何？
• RQ3 虚拟数据生成、协同蒸馏与置信度正则化三者结合，在提升鲁棒性与性能增益方面贡献程度如何？
• RQ4 该框架是否能在无需任务特定调优或目标语言标注数据的情况下，泛化至多个任务与语言对？
• RQ5 在适应目标语言后，框架是否能保持源语言的性能表现，表明无灾难性遗忘？

主要发现

• UXLA 在所有测试的零资源跨语言命名实体识别（XNER）任务中均达到最先进性能，相较于基线，乌尔都语 F1 提升 28.54%，缅甸语提升 16.05%，阿拉伯语提升 9.25%。
• 在 XNLI 任务中，UXLA 仅使用源语言 5% 的标注数据，性能即与使用 100% 标注数据的基线相当。
• 在 PAWS-X 任务中，UXLA 使用 5% 标注数据即可匹配全数据基线性能，展现出强大的数据效率。
• 置信度惩罚组件在各项任务中使性能提升 0.56% 至 1.89%，在低资源设置下增益最大。
• 该框架表现出强鲁棒性：在某一目标语言上微调的模型，不仅在源语言上保持高性能，甚至在适配其他语言时性能还进一步提升。
• 通过集成使用 UXLA 训练的模型可进一步提升性能，证实性能增益并非源于集成效应，而是源于框架核心设计。