[论文解读] Searching for Needles in a Haystack: On the Role of Incidental Bilingualism in PaLM's Translation Capability

Eleftheria Briakou, Colin Cherry+1 more|arXiv (Cornell University)|May 17, 2023

Natural Language Processing Techniques被引用 4

一句话总结

本文研究了偶然双语现象——在预训练期间无意中接触到翻译对——如何解释大型语言模型的零样本翻译能力，以 PaLM 为案例研究。研究发现，PaLM 在 44 种语言中接触到了超过 3000 万个翻译对，且通过挖掘这些偶然信号，平均可使零样本翻译质量提升 14 个 chrF 分数，表明预训练数据构成显著影响模型能力。

ABSTRACT

Large, multilingual language models exhibit surprisingly good zero- or few-shot machine translation capabilities, despite having never seen the intentionally-included translation examples provided to typical neural translation systems. We investigate the role of incidental bilingualism -- the unintentional consumption of bilingual signals, including translation examples -- in explaining the translation capabilities of large language models, taking the Pathways Language Model (PaLM) as a case study. We introduce a mixed-method approach to measure and understand incidental bilingualism at scale. We show that PaLM is exposed to over 30 million translation pairs across at least 44 languages. Furthermore, the amount of incidental bilingual content is highly correlated with the amount of monolingual in-language content for non-English languages. We relate incidental bilingual content to zero-shot prompts and show that it can be used to mine new prompts to improve PaLM's out-of-English zero-shot translation quality. Finally, in a series of small-scale ablations, we show that its presence has a substantial impact on translation capabilities, although this impact diminishes with model scale.

研究动机与目标

• 探究类似 PaLM 的大型语言模型中零样本翻译能力的来源。
• 量化 PaLM 训练数据中偶然双语现象的程度与性质。
• 评估偶然双语内容对翻译性能的影响。
• 证明通过挖掘偶然翻译对可提升零样本翻译质量。

提出的方法

• 开发了一种混合方法管道，结合自动化语言标记与定性分析，以检测 PaLM 训练数据中的双语内容。
• 使用跨语言句子嵌入（LABSE）和启发式过滤器（如标记长度、编辑距离、语言识别）从双语实例中提取翻译对。
• 从挖掘出的翻译对中训练数据驱动的提示，并通过零样本和少样本提示评估其对零样本翻译的影响。
• 对较小的 PaLM 变体（1B 和 8B 参数）进行消融研究，以隔离移除检测到的翻译对对翻译性能的影响。
• 测量每种语言的单语内容与双语内容之间的相关性，以评估数据分布模式。
• 使用 FLORES-200 数据集划分以一致评估零样本和少样本翻译性能。

实验结果

研究问题

• RQ1 在多种语言中，PaLM 的预训练数据中偶然双语现象的程度如何？
• RQ2 非英语语言中，偶然双语内容的数量与单语内容之间存在何种相关性？
• RQ3 能否通过挖掘偶然翻译对来提升 PaLM 的零样本翻译性能？
• RQ4 在小型模型中，移除偶然翻译对对翻译质量有何影响？
• RQ5 模型规模在多大程度上调节偶然双语现象对翻译性能的影响？

主要发现

• PaLM 在至少 44 种语言中接触到了超过 3000 万个翻译对，其中 0.34% 的训练实例至少包含一个翻译对。
• 一种语言的单语内容量强烈预测了该语言中偶然双语或翻译内容的量。
• 使用从偶然翻译对中挖掘出的数据驱动提示，使非英语语言的零样本翻译平均提升 14 个 chrF 分数。
• 在 1B 参数模型中，消融检测到的翻译对导致零样本 BLEU 分数下降 7.4 分，而在 5-shot 设置中下降 5.9 分。
• 随着模型规模增大，偶然双语现象对翻译性能的影响减弱，但依然显著，8B 参数模型中仍存在 +2 至 +3 的 BLEU 残留增益。
• 所研究的任何语言均未真正实现零样本翻译，因为所有语言都含有可检测到的偶然翻译信号。