[论文解读] MuRIL: Multilingual Representations for Indian Languages

Simran Khanuja, Diksha Bansal+12 more|arXiv (Cornell University)|Mar 19, 2021

Natural Language Processing Techniques参考文献 14被引用 158

一句话总结

MuRIL 是为印度语言构建的多语言 BERT 风格编码器，使用单语 MLM 数据 plus 翻译和音译的跨语言数据进行训练，在 XTREME IN 基准测试中，尤其在翻译写集上，优于 mBERT。

ABSTRACT

India is a multilingual society with 1369 rationalized languages and dialects being spoken across the country (INDIA, 2011). Of these, the 22 scheduled languages have a staggering total of 1.17 billion speakers and 121 languages have more than 10,000 speakers (INDIA, 2011). India also has the second largest (and an ever growing) digital footprint (Statista, 2020). Despite this, today's state-of-the-art multilingual systems perform suboptimally on Indian (IN) languages. This can be explained by the fact that multilingual language models (LMs) are often trained on 100+ languages together, leading to a small representation of IN languages in their vocabulary and training data. Multilingual LMs are substantially less effective in resource-lean scenarios (Wu and Dredze, 2020; Lauscher et al., 2020), as limited data doesn't help capture the various nuances of a language. One also commonly observes IN language text transliterated to Latin or code-mixed with English, especially in informal settings (for example, on social media platforms) (Rijhwani et al., 2017). This phenomenon is not adequately handled by current state-of-the-art multilingual LMs. To address the aforementioned gaps, we propose MuRIL, a multilingual LM specifically built for IN languages. MuRIL is trained on significantly large amounts of IN text corpora only. We explicitly augment monolingual text corpora with both translated and transliterated document pairs, that serve as supervised cross-lingual signals in training. MuRIL significantly outperforms multilingual BERT (mBERT) on all tasks in the challenging cross-lingual XTREME benchmark (Hu et al., 2020). We also present results on transliterated (native to Latin script) test sets of the chosen datasets and demonstrate the efficacy of MuRIL in handling transliterated data.

研究动机与目标

• 为语言模型在印度语言上的定制化需求提供动机，因为现有多语言 SMs 中对 IN 语言的表示有限。
• 开发 MuRIL，一种对单语文本进行增强的多语言语言模型，包含 MLM 和监督翻译语言建模 (TLM)。
• 在跨语言基准（XTREME）和带译名的测试集上对 MuRIL 与 mBERT 进行比较，以证明其在 IN 语言上的鲁棒性。

提出的方法

• 用单语 IN 数据（17 种语言加英语）的 MLM 训练 BERT-base 编码器。
• 通过翻译和音译的并行数据，使用翻译语言建模 (TLM) 引入监督型跨语言信号。
• 构建一个聚焦 IN 语言的 WordPiece 词汇表，包含 197,285 个标记，基于上采样、语言平滑的语料库。
• 对单语数据（Wikipedia）进行上采样以平衡语言表示。
• 在 ~16B 个标记上进行预训练，然后在 XTREME IN 任务上以零-shot 模式进行微调/评估。
• 公开发布 MuRIL 编码器和预训练模型以供 TFHub 和 HuggingFace 使用。

实验结果

研究问题

• RQ1 与像 mBERT 这样的通用多语言语言模型相比，专门在印度语言上进行预训练的语言模型在跨语言迁移任务中的表现如何？
• RQ2 将翻译和音译的跨语言数据引入是否提高了 IN 语言的翻译写测试集上的表现？
• RQ3 面向语言的词汇表对 IN 语言的模型效果有何影响？
• RQ4 MuRIL 在零-shot 跨越英语训练数据的 XTREME IN 基准中表现如何？
• RQ5 MuRIL 是否比 mBERT 更有效地处理音译数据？

主要发现

• MuRIL 在 XTREME IN 任务（PANX、UDPOS、XNLI、Tatoeba）上显著优于 mBERT，Table 1 的平均分为 68.6 vs 59.1。
• MuRIL 在翻译写测试集上也显示出显著更高的性能，表 2 的结果在音译评估中普遍获得提升。
• 在 IN 语言中，MuRIL 在 PANX、UDPOS、XNLI 以及 XQuAD/MLQA 式评估中达到更高的逐语言分数，显示对音译和脚本变体的鲁棒性。
• MuRIL 的专用 IN 语言词汇表和音译感知的训练有助于降低分词的繁琐性，更好地保留语义内容，相较于 mBERT。
• 该模型已公开发布（TFHub 和 HuggingFace），以便在印度语言 NLP 应用中更广泛地使用。