[论文解读] Multi-task Learning for Cross-Lingual Sentiment Analysis

Gaurish Thakkar|arXiv (Cornell University)|Jan 1, 2021

Sentiment Analysis and Opinion Mining参考文献 10被引用 5

一句话总结

本文提出了一种基于三语 BERT 模型的多任务学习框架，通过利用文档、段落和句子层级的丰富斯洛文尼亚语标注，提升对资源匮乏的克罗地亚语新闻文章的跨语言情感分析。该方法通过在多个序列层级上联合训练并共享克罗地亚语与斯洛文尼亚语之间的表示，实现了在克罗地亚语情感分类任务上的优越性能，特别是在少样本和零样本设置下，其 F1 分数相比单任务基线最高提升了 10.5%。

ABSTRACT

This paper presents a cross-lingual sentiment analysis of news articles using zero-shot and few-shot learning. The study aims to classify the Croatian news articles with positive, negative, and neutral sentiments using the Slovene dataset. The system is based on a trilingual BERT-based model trained in three languages: English, Slovene, Croatian. The paper analyses different setups using datasets in two languages and proposes a simple multi-task model to perform sentiment classification. The evaluation is performed using the few-shot and zero-shot scenarios in single-task and multi-task experiments for Croatian and Slovene.

研究动机与目标

• 通过利用具有多层次标注的高资源斯洛文尼亚语数据集，提升对资源匮乏的克罗地亚语新闻的情感分析性能。
• 探究在文档、段落和句子层级上进行多任务学习是否能增强向克罗地亚语的跨语言迁移能力。
• 评估共享三语 BERT 编码器在将情感知识从斯洛文尼亚语迁移到克罗地亚语方面的有效性。
• 确定与仅从斯洛文尼亚语进行零样本迁移相比，使用有限的目标语言（克罗地亚语）数据是否能提升性能。
• 探究分层标注层级（句子、段落、文档）对模型泛化能力及跨语言情感分类中错误模式的影响。

提出的方法

• 在克罗地亚语和斯洛文尼亚语数据集上微调一个基于三语 BERT 的模型，使用共享的语言编码器在不同语言间提取上下文表示。
• 训练三个独立的分类头：一个用于文档层级，一个用于段落层级，一个用于句子层级的情感分类。
• 文档层级分类头在克罗地亚语和斯洛文尼亚语数据的组合上进行训练，而段落和句子层级分类头仅在斯洛文尼亚语数据上训练，因为克罗地亚语数据集中缺乏此类标注。
• 通过在微调过程中联合优化所有三个分类头，应用多任务学习，实现在不同层级和语言间的知识迁移。
• 使用宏平均精确率、召回率和 F1 分数进行评估，实验在少样本和零样本设置下进行。
• 错误分析显示，当输入被截断时，模型常将包含情感词的中性文章错误分类为正面或负面。

实验结果

研究问题

• RQ1 在文档、段落和句子层级上进行多任务学习是否能提升对资源匮乏的克罗地亚语的情感分类性能？
• RQ2 与仅从斯洛文尼亚语进行零样本迁移相比，包含有限克罗地亚语数据是否能提升性能？
• RQ3 尽管存在语言差异，共享的三语 BERT 编码器是否能有效将情感知识从斯洛文尼亚语迁移到克罗地亚语？
• RQ4 在斯洛文尼亚语中使用多层级标注（句子、段落、文档）是否能提升模型对克罗地亚语新闻文章的分类能力？
• RQ5 当对包含情感词汇的中性文章进行分类时，模型的主要失败模式是什么？

主要发现

• 多任务学习（MTL）模型在克罗地亚语文档层级情感分类任务上优于所有单任务学习（STL）基线模型，在 SL+HR MTL 设置下达到 63.86 的 F1 分数。
• SL+HR MTL 模型在克罗地亚语上的 F1 分数达到 63.86，显著优于 STL 模型（56.95 F1）和零样本 SL MTL 模型（50.07 F1），证明了目标语言数据的优势。
• 在斯洛文尼亚语上，SL MTL 模型在文档层级分类任务中达到 74.86 的 F1 分数，表明多任务学习在源语言中同样能提升性能。
• SL+HR MTL 模型在克罗地亚语上的 F1 分数相比 SL STL 模型提升了 10.5%，表明即使少量目标语言数据也能增强跨语言迁移效果。
• 当输入被截断时，模型在包含情感词的中性文章（如广告或食谱）上表现不佳，常将其错误分类为正面或负面。
• 错误分析表明，模型依赖情感词，但无法在中性或非代表性文本类型中正确理解其上下文。