[论文解读] XLDA: Cross-Lingual Data Augmentation for Natural Language Inference and Question Answering

Jasdeep Singh, Bryan McCann+3 more|arXiv (Cornell University)|May 27, 2019

Topic Modeling参考文献 31被引用 61

一句话总结

XLDA 在训练过程中用翻译替换输入的一段，以换成另一种语言，提升跨语言 NLI 和问答在多语言上的性能。

ABSTRACT

While natural language processing systems often focus on a single language, multilingual transfer learning has the potential to improve performance, especially for low-resource languages. We introduce XLDA, cross-lingual data augmentation, a method that replaces a segment of the input text with its translation in another language. XLDA enhances performance of all 14 tested languages of the cross-lingual natural language inference (XNLI) benchmark. With improvements of up to $4.8\%$, training with XLDA achieves state-of-the-art performance for Greek, Turkish, and Urdu. XLDA is in contrast to, and performs markedly better than, a more naive approach that aggregates examples in various languages in a way that each example is solely in one language. On the SQuAD question answering task, we see that XLDA provides a $1.0\%$ performance increase on the English evaluation set. Comprehensive experiments suggest that most languages are effective as cross-lingual augmentors, that XLDA is robust to a wide range of translation quality, and that XLDA is even more effective for randomly initialized models than for pretrained models.

研究动机与目标

• 激发多语言迁移学习，以提升低资源语言的表现。
• 提出一种简单的数据增强方法，使用翻译片段来创建跨语言的训练信号。
• 展示 XLDA 在多语言和多任务上的有效性（XNLI 与 SQuAD）。
• 展示对翻译质量的鲁棒性，以及对预训练和随机初始化模型的适用性。

提出的方法

• 将 XLDA 定义为在数据集 D 中，用语言 j 的翻译替换输入 x 或 y 的一部分，生成 D' 和跨语言训练集 D_XLDA。
• 比较单语、互不相同的多语言训练（DMT）和 XLDA 的训练设置。
• 使用 BERT ML 和一个 LSTM 基线，在 XNLI 和 SQuAD 上评估 XLDA，采用 Devlin 等人（2018）的标准超参数。
• 使用来自来自多个机器翻译系统的翻译，在 14 种 XNLI 语言和 SQuAD 的训练翻译中（将英语语境/问题翻译成多种语言）形成跨语言增强器。
• 贪心地选择多个增强器，以最大化相对于单一增强器的性能提升。
• 进行消融实验，展示 XLDA 对于预训练和随机初始化模型的有效性。

实验结果

研究问题

• RQ1 XLDA 是否在训练期间部分输入被翻译成另一种语言时，能否改善自然语言理解？
• RQ2 跨语言增强是否能提升 XNLI 中所有语言的表现以及 SQuAD 的表现？
• RQ3 XLDA 对翻译质量的变化是否鲁棒，并且对预训练与非预训练模型是否有效？
• RQ4 XLDA 与互不相干的多语言训练（DMT）设定及回译方法相比的表现如何？
• RQ5 使用多种增强器及贪心选择对性能的影响是什么？

主要发现

• XLDA 在 XNLI 中相对于单语训练，对每个目标语言都提升了表现，达到最高 4.8% 的绝对增益。
• XLDA 在希腊语、土耳其语和乌尔都语的 XNLI 中取得了最先进的结果，且不需要同时进行的预训练（Lample & Conneau 2019）。
• 在 SQuAD 上，当训练数据被翻译成额外语言时，英语评估集的 EM 提升了 1.0%。
• 大多数语言作为有效的跨语言增强器；乌尔都语通常是较弱的增强器，而印地语通常能为其他目标带来显著增益。
• 贪心的 XLDA，组合多个增强器，始终优于单个最佳增强器和标准单语基线，在某些情况下增益约为 4.9%。
• XLDA 对预训练模型（BERT ML）和随机初始化模型都有效，甚至在使用 LSTM 基线时也能超越。