[论文解读] Revisiting the Primacy of English in Zero-shot Cross-lingual Transfer

Iulia Turc, Kenton Lee+3 more|arXiv (Cornell University)|Jun 30, 2021

Topic Modeling参考文献 25被引用 37

一句话总结

本文表明英语并不总是零-shot 跨语言传递的最佳源语言；德语和俄语在多样目标语言上通常传递得更有效，将英语训练数据翻译为更好的源语言可提高零-shot 性能。

ABSTRACT

Despite their success, large pre-trained multilingual models have not completely alleviated the need for labeled data, which is cumbersome to collect for all target languages. Zero-shot cross-lingual transfer is emerging as a practical solution: pre-trained models later fine-tuned on one transfer language exhibit surprising performance when tested on many target languages. English is the dominant source language for transfer, as reinforced by popular zero-shot benchmarks. However, this default choice has not been systematically vetted. In our study, we compare English against other transfer languages for fine-tuning, on two pre-trained multilingual models (mBERT and mT5) and multiple classification and question answering tasks. We find that other high-resource languages such as German and Russian often transfer more effectively, especially when the set of target languages is diverse or unknown a priori. Unexpectedly, this can be true even when the training sets were automatically translated from English. This finding can have immediate impact on multilingual zero-shot systems, and should inform future benchmark designs.

研究动机与目标

• 推动在零-shot 跨语言传递中评估除英语以外的传递语言的有效性。
• 量化非英语源语言在使用多语言模型时对多样目标语言的传递效果。
• 评估将英语训练数据机器翻译成其他语言是否能超越或达到基于英语的传递效果。
• 为多语言自然语言处理中的数据收集和基准设计提供可执行的指导。

提出的方法

• 用相对能力 Z(S→T) = E(M^S, T) / E(M^T, T) 定义源 S 到目标 T 的零-shot 传递性指标。
• 在目标集合 L 上聚合传递性，Z(S→L) = (1/|L|) Σ_T∈L Z(S→T)。
• 在分类和问答任务上使用两种预训练的多语言模型（mBERT 和 mT5-base）进行实验。
• 在单一源语言中进行单语言微调，然后在多个目标上评估零-shot 性能。
• 通过将英语起源的训练数据与机器翻译变体进行比较来控制数据质量，以评估翻译的影响。

实验结果

研究问题

• RQ1 英语是否是跨多样目标语言进行零-shot 跨语言传递时最有效的源语言？
• RQ2 哪些非英语语言在标准基准（XNLI、PAWS-X、XQuAD、TyDi QA）中提供更强的跨语言传递？
• RQ3 将英语训练数据翻译成其他语言是否比直接以英语训练能改善零-shot 传递？
• RQ4 在任务之间，是仅编码器的模型（mBERT）与编码器-解码器模型（mT5）之间的结果不同吗？
• RQ5 当目标语言跨越不同的书写系统和语族时，传递性能如何变化？

主要发现

• 德语和俄语在 XNLI 和 PAWS-X 中通常作为传递源的表现优于英语。
• 零-shot 相对于英语的优势在若干非英语源中得到观察，例如 de MT 和 ru MT 平均表现出正向优势。
• 将英语训练数据翻译成更强的源（如德语或俄语）可以提升零-shot 传递，即使使用机器翻译数据。
• 对于问答任务，使用 mT5 时英语可能是最强的源，但来自德语/俄语的传递在某些目标上仍有收益（如泰语）。
• mBERT 通常在最好源与最差源之间的差距比 mT5 更大，且预训练规模和策略会影响传递动态。