[论文解读] Task-Specific Pre-Training and Cross Lingual Transfer for Code-Switched Data

Akshat Gupta, Sai Krishna Rallabandi+1 more|arXiv (Cornell University)|Feb 24, 2021

Natural Language Processing Techniques参考文献 10被引用 7

一句话总结

本文比较了在泰米尔-英语和马拉雅拉姆-英语语料库中进行代码切换情感分析时，特定任务的预训练与跨语言迁移的效果。使用基于 BERT 的模型，研究发现，在目标语言数据上微调英语 BERT（即特定任务的预训练）的表现优于利用 mBERT 和 XLM-RoBERTa 等多语言模型，尤其在零样本和监督设置下，这是由于多语言模型存在领域和书写系统不匹配的问题。

ABSTRACT

Using task-specific pre-training and leveraging cross-lingual transfer are two of the most popular ways to handle code-switched data. In this paper, we aim to compare the effects of both for the task of sentiment analysis. We work with two Dravidian Code-Switched languages - Tamil-Engish and Malayalam-English and four different BERT based models. We compare the effects of task-specific pre-training and cross-lingual transfer and find that task-specific pre-training results in superior zero-shot and supervised performance when compared to performance achieved by leveraging cross-lingual transfer from multilingual BERT models.

研究动机与目标

• 评估并比较特定任务预训练与跨语言迁移在代码切换德拉维达语情感分析中的有效性。
• 使用基于 BERT 的模型，为泰米尔-英语和马拉雅拉姆-英语代码切换情感分析数据集建立强基线性能。
• 探究多语言 BERT 模型是否能有效将知识迁移至非拉丁字母脚本的代码切换数据。
• 探索在语言上更接近的代码切换语言（如印地-英语混合语）上进行微调，是否能提升在零样本迁移设置下的性能。
• 评估结合跨语言迁移与特定任务预训练对泛化性能的影响。

提出的方法

• 在泰米尔-英语和马拉雅拉姆-英语数据集上微调单语英语 BERT 模型（TweetEval），以实现特定任务的预训练。
• 评估多语言 BERT 模型（mBERT 和 XLM-RoBERTa）在代码切换数据上的零样本和少样本迁移性能。
• 使用 Hinglish Sentimix 数据集进行中间微调以实现跨语言迁移，随后在目标语言上进行适应。
• 采用标准 BERT 微调流程，结合早停法和初始学习率调度，用于三分类情感分类任务。
• 通过在开发集和测试集上计算精确率、召回率和 F1 分数，对比所有配置下的模型性能。
• 通过跨语言零样本迁移分析模型行为，以评估泛化能力及语言接近性的影响。

实验结果

研究问题

• RQ1 在代码切换数据上进行特定任务预训练，是否在情感分析任务中优于从多语言 BERT 模型进行的跨语言迁移？
• RQ2 英语 BERT 模型在代码切换德拉维达语上的零样本迁移效果如何，特别是在目标数据与预训练数据分布不一致时（如 YouTube 评论 vs. Twitter 数据）？
• RQ3 在语言上更接近的代码切换语言（如 Hinglish）上微调单语模型，是否能提升在泰米尔-英语和马拉雅拉姆-英语数据集上的零样本性能？
• RQ4 结合跨语言迁移与特定任务预训练是否能带来统计上显著的性能提升？
• RQ5 尽管经过多语言预训练，为何多语言 BERT 模型在使用罗马化德拉维达语脚本的代码切换数据上表现不佳？

主要发现

• 在目标代码切换数据上进行特定任务预训练，其性能始终优于从多语言 BERT 模型进行的跨语言迁移，其中 TweetEval 模型在马拉雅拉姆-英语数据集上达到 77% 的 F1 分数，在泰米尔-英语数据集上达到 76%。
• 英语 TweetEval 模型的零样本性能在 Hinglish 数据集上最高（F1 为 77%），表明其与 Twitter 数据的领域对齐性更好，但在基于 YouTube 的泰米尔语和马拉雅拉姆语数据集上表现较低。
• 当 TweetEval 模型在语言上更接近的代码切换语言上进行微调时，零样本结果达到最佳——例如，在马拉雅拉姆语上微调可提升泰米尔-英语数据集的性能，在 Hinglish 上微调可提升马拉雅拉姆-英语数据集的性能。
• 在将 TweetEval 模型在 Hinglish 上微调一个周期后，再适应到目标语言，性能有微小提升（泰米尔-英语数据集的 F1 从 76% 提升至 77%，马拉雅拉姆-英语数据集从 77% 提升至 78%），但这些提升在统计上不显著。
• 多语言 BERT 模型（mBERT 和 XLM-RoBERTa）表现不佳，原因在于缺乏对罗马化泰米尔语和马拉雅拉姆语标记的表示，且缺少代码切换预训练数据。
• 本研究通过特定任务预训练，建立了新的基线 F1 分数：泰米尔-英语为 76%，马拉雅拉姆-英语为 78%，可作为未来研究的比较基准。