[论文解读] What the [MASK]? Making Sense of Language-Specific BERT Models

Debora Nozza, Federico Bianchi+1 more|arXiv (Cornell University)|Mar 5, 2020

Topic Modeling参考文献 31被引用 85

一句话总结

本文综述了语言特定的 BERT 模型，与 mBERT 进行比较，并介绍 BertLang，这是一个互动网站，用于在多语言、任务和领域上探索语言特定 BERT 的表现。

ABSTRACT

Recently, Natural Language Processing (NLP) has witnessed an impressive progress in many areas, due to the advent of novel, pretrained contextual representation models. In particular, Devlin et al. (2019) proposed a model, called BERT (Bidirectional Encoder Representations from Transformers), which enables researchers to obtain state-of-the art performance on numerous NLP tasks by fine-tuning the representations on their data set and task, without the need for developing and training highly-specific architectures. The authors also released multilingual BERT (mBERT), a model trained on a corpus of 104 languages, which can serve as a universal language model. This model obtained impressive results on a zero-shot cross-lingual natural inference task. Driven by the potential of BERT models, the NLP community has started to investigate and generate an abundant number of BERT models that are trained on a particular language, and tested on a specific data domain and task. This allows us to evaluate the true potential of mBERT as a universal language model, by comparing it to the performance of these more specific models. This paper presents the current state of the art in language-specific BERT models, providing an overall picture with respect to different dimensions (i.e. architectures, data domains, and tasks). Our aim is to provide an immediate and straightforward overview of the commonalities and differences between Language-Specific (language-specific) BERT models and mBERT. We also provide an interactive and constantly updated website that can be used to explore the information we have collected, at https://bertlang.unibocconi.it.

研究动机与目标

• 对语言特定的 BERT 模型进行概述及其与 mBERT 的区别进行说明。
• 总结在何种架构、数据域和任务下对语言特定 BERT 模型进行评估。
• 提出并描述 BertLang 这一互动资源，用于比较模型并帮助模型选择。
• 突出语言特定模型在性能方面的优势及跨语言、跨任务的变异性。

提出的方法

• 对 18 种语言和 29 个 NLP 任务的现有语言特定 BERT 模型进行综述。
• 在可获取的情形下，汇总并与 mBERT 进行对比。
• 介绍并描述 BertLang 网站，作为一个互动、最新的资源库。
• 讨论用于预训练的数据来源（维基百科、OPUS、OSCAR）及评估领域（新闻、社交媒体等）。
• 总结观察到的趋势，例如何时语言特定模型优于 mBERT，以及在哪些任务中表现突出。

实验结果

研究问题

• RQ1 语言特定的 BERT 模型在语言和任务上与 mBERT 的对比如何？
• RQ2 哪些架构（BERT、ALBERT、RoBERTa）和数据源能为语言特定模型带来最佳性能？
• RQ3 哪些领域和数据集影响语言特定模型相对于 mBERT 的相对提升？
• RQ4 语言特定模型在各语言中的可用性有多广泛，研究人员如何高效找到合适的模型？

主要发现

• 在所考虑的任务中，语言特定的 BERT 模型平均上优于 mBERT。
• 低资源语言（如 Yorùbá、阿拉伯语）相对 mBERT 的改进最大。
• 命名实体识别是数据集中语言特定模型中报告最频繁的任务。
• 情感分析在语言特定模型下通常表现出显著提升。
• 性能增益因任务和语言而异，在某些情况下（如名词义项消歧义）某些任务仍更利于 mBERT。
• 本文将 BertLang 作为探索语言特定 BERT 模型的中心、最新资源。