[论文解读] Sarcasm Detection in Twitter -- Performance Impact while using Data Augmentation: Word Embeddings

Alif Tri Handoyo, Hidayaturrahman Hidayaturrahman+1 more|arXiv (Cornell University)|Aug 23, 2021

Sentiment Analysis and Opinion Mining被引用 4

一句话总结

本文提出了一种基于RoBERTa的上下文讽刺检测模型，通过使用GloVe词嵌入进行数据增强，以提升在类别不平衡的Twitter数据集上的性能。通过将讽刺样本增加20%，该方法在iSarcasm数据集上实现了3.2%的F-score提升（40.4%对比37.2%），证明了通过更好的数据平衡和上下文学习可显著提升检测准确率。

ABSTRACT

Sarcasm is the use of words usually used to either mock or annoy someone, or for humorous purposes. Sarcasm is largely used in social networks and microblogging websites, where people mock or censure in a way that makes it difficult even for humans to tell if what is said is what is meant. Failure to identify sarcastic utterances in Natural Language Processing applications such as sentiment analysis and opinion mining will confuse classification algorithms and generate false results. Several studies on sarcasm detection have utilized different learning algorithms. However, most of these learning models have always focused on the contents of expression only, leaving the contextual information in isolation. As a result, they failed to capture the contextual information in the sarcastic expression. Moreover, some datasets used in several studies have an unbalanced dataset which impacting the model result. In this paper, we propose a contextual model for sarcasm identification in twitter using RoBERTa, and augmenting the dataset by applying Global Vector representation (GloVe) for the construction of word embedding and context learning to generate more data and balancing the dataset. The effectiveness of this technique is tested with various datasets and data augmentation settings. In particular, we achieve performance gain by 3.2% in the iSarcasm dataset when using data augmentation to increase 20% of data labeled as sarcastic, resulting F-score of 40.4% compared to 37.2% without data augmentation.

研究动机与目标

• 为解决在Twitter中检测讽刺的挑战，其中讽刺表达往往模糊不清，甚至对人类理解也具有困难。
• 克服现有模型仅关注文本内容而忽略上下文信息的局限性。
• 缓解讽刺检测任务中因数据集类别不平衡导致的性能下降问题。
• 探索使用GloVe嵌入进行数据增强对提升讽刺检测中模型泛化能力和F-score的影响。
• 评估结合上下文建模（RoBERTa）与增强、平衡的训练数据在讽刺检测中的有效性。

提出的方法

• 作者采用RoBERTa这一上下文语言模型，以捕捉用于讽刺检测的推文的深层上下文表征。
• 使用GloVe词嵌入通过数据增强生成合成训练样本，使讽刺样本数量增加20%。
• 通过基于GloVe向量的语义相似性和词级变换，生成额外的讽刺样本，实现数据集的平衡。
• 在多个数据集（包括iSarcasm）上微调模型，以评估不同数据增强设置下的性能表现。
• 使用F-score评估性能，并对比训练时使用与不使用数据增强的模型表现。
• 该方法结合上下文建模与基于嵌入的数据增强，以提升在类别不平衡的讽刺检测任务中的模型鲁棒性。

实验结果

研究问题

• RQ1 使用GloVe嵌入进行数据增强是否能提升在类别不平衡的Twitter数据集上的讽刺检测性能？
• RQ2 通过RoBERTa引入上下文信息在表面文本分析之外，能在多大程度上提升讽刺检测能力？
• RQ3 通过增强提高讽刺样本比例，对F-score和模型泛化能力有何影响？
• RQ4 基于嵌入的数据增强能否有效平衡数据集并减少讽刺检测模型中的偏差？
• RQ5 所提出方法在不同讽刺检测数据集上的相对性能提升如何？

主要发现

• 所提方法在iSarcasm数据集上实现了3.2%的F-score绝对提升，达到40.4%（使用数据增强），而未使用时为37.2%。
• 使用GloVe嵌入的数据增强有效平衡了数据集，减轻了类别不平衡对模型性能的负面影响。
• 将RoBERTa与基于GloVe的增强相结合，显著提升了模型捕捉上下文细微差别的讽刺检测能力。
• 性能提升在iSarcasm数据集上最为显著，讽刺样本增加20%后，F-score从37.2%提升至40.4%。
• 结果表明，在低资源、类别不平衡的环境下，结合上下文建模与基于嵌入的数据增强对讽刺检测是有效的。
• 本研究证实，使用预训练词嵌入（如GloVe）进行数据增强，可作为提升讽刺检测任务中模型泛化能力的可行策略。