[论文解读] XLM-T: A Multilingual Language Model Toolkit for Twitter.

Francesco Barbieri, Luis Espinosa-Anke+1 more|arXiv (Cornell University)|Apr 25, 2021

Topic Modeling参考文献 38被引用 32

一句话总结

XLM-T 引入了一种多语言语言模型工具包，该工具包在超过30种语言的数百万条推文上进行预训练，提供了一个强大的 XLM-R 基线模型，并构建了八种语言的统一情感分析数据集。它支持下游任务的轻松微调，并通过统一数据和模型标准，推动了推特上的多语言自然语言处理发展。

ABSTRACT

Language models are ubiquitous in current NLP, and their multilingual capacity has recently attracted considerable attention. However, current analyses have almost exclusively focused on (multilingual variants of) standard benchmarks, and have relied on clean pre-training and task-specific corpora as multilingual signals. In this paper, we introduce XLM-T, a framework for using and evaluating multilingual language models in Twitter. This framework features two main assets: (1) a strong multilingual baseline consisting of an XLM-R (Conneau et al. 2020) model pre-trained on millions of tweets in over thirty languages, alongside starter code to subsequently fine-tune on a target task; and (2) a set of unified sentiment analysis Twitter datasets in eight different languages. This is a modular framework that can easily be extended to additional tasks, as well as integrated with recent efforts also aimed at the homogenization of Twitter-specific datasets (Barbieri et al. 2020).

研究动机与目标

• 通过创建统一的评估框架，解决推特 NLP 中缺乏标准化多语言基准的问题。
• 提供一个在 30 多种语言的多样化真实世界推特数据上预训练的强大多语言基线模型。
• 通过使用一致且高质量的推特数据集，促进多语言模型在下游任务上的微调。
• 通过模块化、可扩展的框架，支持整合推特特定的 NLP 资源。
• 通过利用原始、嘈杂的社交媒体文本中的多语言信号，提升跨语言迁移性能。

提出的方法

• 在超过 3000 万条多语言推文上预训练一个多语言 XLM-R 模型，以捕捉跨语言表征。
• 使用一致的标注和预处理标准，构建八种语言的统一情感分析数据集。
• 设计一个模块化框架，可轻松扩展至情感分析以外的新任务。
• 提供用于在目标下游任务上微调预训练模型的初始代码。
• 对齐数据和模型组件，以支持跨语言和跨任务的一致评估。
• 利用现有工作（例如，Barbieri 等，2020）来统一推特特定的 NLP 数据集。

实验结果

研究问题

• RQ1 在推特数据上微调的多语言 XLM-R 模型在低资源语言和高资源语言上的泛化能力如何？
• RQ2 统一的多语言推特数据集在多大程度上提升了模型性能并增强了跨语言的可比性？
• RQ3 标准化框架是否能减少多语言推特 NLP 中的数据和评估不一致性？
• RQ4 预训练的 XLM-T 模型作为下游推特 NLP 任务的基线模型效果如何？
• RQ5 在嘈杂的真实世界社交媒体文本上使用多语言预训练能带来多大的性能提升？

主要发现

• XLM-T 框架提供了一个在超过 3000 万条推文、30 多种语言上预训练的强大多语言基线模型，支持有效的迁移学习。
• 八种语言的统一情感分析数据集实现了跨语言的一致评估，减少了推特 NLP 中的数据异质性。
• 该框架支持对预训练模型在新任务上的轻松微调，提升了可复现性和可扩展性。
• 使用真实世界、多语言的推特数据增强了低资源语言场景下的模型鲁棒性。
• 模块化设计支持与现有工作集成，以标准化推特 NLP 数据集和评估协议。
• 该框架通过利用来自嘈杂社交媒体的多语言预训练信号，促进了跨语言性能的提升。