[论文解读] Robust Sentiment Analysis for Low Resource languages Using Data Augmentation Approaches: A Case Study in Marathi

Aabha Pingle, Aditya Vyawahare+4 more|arXiv (Cornell University)|Oct 1, 2023

Sentiment Analysis and Opinion MiningComputer Science被引用 3

一句话总结

本文提出了四种数据增强技术——释义、反向翻译、基于BERT的标记替换（包括命名实体和随机掩码）以及基于GPT的文本/标签生成，以提升低资源马拉地语的情感分析性能。该方法在MahaSent领域内数据集上实现了84.35%的准确率，显著提升了模型的鲁棒性与跨领域泛化能力。

ABSTRACT

Sentiment analysis plays a crucial role in understanding the sentiment expressed in text data. While sentiment analysis research has been extensively conducted in English and other Western languages, there exists a significant gap in research efforts for sentiment analysis in low-resource languages. Limited resources, including datasets and NLP research, hinder the progress in this area. In this work, we present an exhaustive study of data augmentation approaches for the low-resource Indic language Marathi. Although domain-specific datasets for sentiment analysis in Marathi exist, they often fall short when applied to generalized and variable-length inputs. To address this challenge, this research paper proposes four data augmentation techniques for sentiment analysis in Marathi. The paper focuses on augmenting existing datasets to compensate for the lack of sufficient resources. The primary objective is to enhance sentiment analysis model performance in both in-domain and cross-domain scenarios by leveraging data augmentation strategies. The data augmentation approaches proposed showed a significant performance improvement for cross-domain accuracies. The augmentation methods include paraphrasing, back-translation; BERT-based random token replacement, named entity replacement, and pseudo-label generation; GPT-based text and label generation. Furthermore, these techniques can be extended to other low-resource languages and for general text classification tasks.

研究动机与目标

• 解决低资源印度语言（尤其是马拉地语）在情感分析任务中缺乏标注数据集的问题。
• 通过使用合成数据增强现有马拉地语数据集，提升模型在情感分类任务中的泛化能力与鲁棒性。
• 评估数据增强技术在领域内与跨领域情感分析场景下的有效性。
• 证明尽管马拉地语标注数据有限，数据增强仍可显著提升模型性能。
• 提供一种可迁移的框架，适用于其他低资源语言及文本分类任务。

提出的方法

• 采用基于BERT的随机标记替换与命名实体替换，生成句法多样但情感保持不变的句子。
• 利用英语作为中间语言实施反向翻译，生成多样化且情感一致的释义。
• 使用基于GPT的模型生成合成文本及对应的情感标签，提升数据多样性与标签一致性。
• 采用BERT实现序列掩码策略，将标记替换为掩码或掩码替换后的标记，以保持语义结构。
• 在增强后的数据集上微调BERT与GPT模型，评估其在领域内与跨领域设置下的性能表现。
• 使用混淆矩阵与标准指标（准确率、F1值）对比不同数据增强技术下的模型性能。

实验结果

研究问题

• RQ1 数据增强技术是否能显著提升低资源马拉地语自然语言处理任务中的情感分类准确率？
• RQ2 不同数据增强策略（如反向翻译、BERT掩码、GPT生成）在提升模型跨领域泛化能力方面表现如何？
• RQ3 在不同领域之间（如在GoEmotions上训练、在MahaSent上测试）的知识迁移在马拉地语情感分析中能带来多大程度的性能提升？
• RQ4 哪种增强方法在MahaSent数据集上实现了最高的领域内准确率？
• RQ5 合成数据生成是否能在提升数据集多样性与模型鲁棒性的同时，保持情感极性的一致性？

主要发现

• 基于GPT的标签生成方法在MahaSent测试集上实现了84.35%的最高领域内准确率，优于所有其他方法。
• 基于BERT的随机掩码策略将MahaSent数据集上的准确率从基线的83.67%提升至84.30%，证明了其在数据增强中的有效性。
• 跨领域性能显著提升，微调GoEmotions数据集的模型在MahaSent测试集上达到73.62%的准确率，表明知识迁移成功。
• 基于BERT的命名实体替换方法在跨领域泛化方面表现突出，增强了模型在不同输入分布下的鲁棒性。
• 基于GPT的增强方法1（标签生成）在GoEmotions测试集上达到63.20%的准确率，表明其在目标领域中表现优异。
• 混淆矩阵显示，所有增强技术均在各类别上实现了精确率与召回率的一致性提升，尤其在情感标签不平衡的情况下表现更优。