[论文解读] Presence of informal language, such as emoticons, hashtags, and slang, impact the performance of sentiment analysis models on social media text?

Aadil Gani Ganie|arXiv (Cornell University)|Jan 28, 2023

Sentiment Analysis and Opinion Mining被引用 4

一句话总结

本研究利用卷积神经网络（CNN）在讽刺、情感和表情符号数据集上进行训练，调查了非正式语言（表情符号、话题标签和俚语）对情感分析模型的影响。结果表明，非正式语言对模型性能的负面影响极小，当包含表情符号数据时，准确率略有提升（95.37%），表明非正式元素对模型性能的负面影响有限。

ABSTRACT

This study aimed to investigate the influence of the presence of informal language, such as emoticons and slang, on the performance of sentiment analysis models applied to social media text. A convolutional neural network (CNN) model was developed and trained on three datasets: a sarcasm dataset, a sentiment dataset, and an emoticon dataset. The model architecture was held constant for all experiments and the model was trained on 80% of the data and tested on 20%. The results revealed that the model achieved an accuracy of 96.47% on the sarcasm dataset, with the lowest accuracy for class 1. On the sentiment dataset, the model achieved an accuracy of 95.28%. The amalgamation of sarcasm and sentiment datasets improved the accuracy of the model to 95.1%, and the addition of emoticon dataset has a slight positive impact on the accuracy of the model to 95.37%. The study suggests that the presence of informal language has a restricted impact on the performance of sentiment analysis models applied to social media text. However, the inclusion of emoticon data to the model can enhance the accuracy slightly.

研究动机与目标

• 考察表情符号、话题标签和俚语等非正式语言元素对情感分析模型性能的影响。
• 评估在社交媒体文本分类中，包含非正式语言数据是否提升或损害模型准确率。
• 评估基于CNN的情感分析模型在面对多样化非正式语言模式时的鲁棒性。
• 确定结合多个非正式语言数据集是否能提升整体模型性能。

提出的方法

• 在三个独立数据集（讽刺、情感和表情符号数据）上训练并评估了一个卷积神经网络（CNN）模型。
• 模型在每个数据集的80%上进行训练，在剩余20%上进行测试，以确保评估的一致性。
• 通过不同类别和数据集组合的准确率来衡量模型性能。
• 所有实验中模型架构保持不变，以隔离数据集构成的影响。
• 研究采用逐步组合数据集的方式——依次整合讽刺、情感和表情符号数据，以评估其对性能的累积影响。
• 在单独和组合数据集上评估性能，以分析不同非正式语言类型的影响。

实验结果

研究问题

• RQ1 表情符号的存在如何影响社交媒体文本情感分析模型的准确率？
• RQ2 俚语和非正式话题标签在多大程度上降低情感分析模型的性能？
• RQ3 在训练中引入含表情符号的数据是否能提升情感分析模型的鲁棒性？
• RQ4 在存在非正式语言的情况下，结合讽刺和情感数据集如何影响模型准确率？
• RQ5 不同非正式语言形式（表情符号、话题标签、俚语）对模型性能的相对影响是什么？

主要发现

• CNN模型在讽刺数据集上达到96.47%的准确率，其中类别1的表现最低。
• 在情感数据集上，模型准确率达到95.28%，表明在标准情感分类任务中表现强劲。
• 将讽刺和情感数据集组合后，准确率略微下降至95.10%，表明可能存在数据分布挑战。
• 在组合模型中引入表情符号数据后，准确率提升至95.37%，表明其具有微小但积极的影响。
• 研究结论认为，表情符号、话题标签和俚语等非正式语言元素对情感分析模型性能的负面影响有限。
• 包含表情符号数据可为模型准确率带来可测量的、尽管微小的提升，表明其在训练数据中的价值。