[论文解读] Sentiment Identification in Code-Mixed Social Media Text

Souvick Ghosh, Satanu Ghosh+1 more|arXiv (Cornell University)|Jul 4, 2017

Sentiment Analysis and Opinion Mining参考文献 25被引用 36

一句话总结

本论文提出了首个基于机器学习的代码混杂社交媒体文本情感分类器，聚焦于英语与孟加拉语双语的 Facebook 帖文。通过使用包含词级、语义和句法特征的多层感知机模型，该模型在将情感分类为正面、负面或中性时达到了 68.5% 的准确率，其中词性标注（POS tags）和极性表情符号列表的影响最大。

ABSTRACT

Sentiment analysis is the Natural Language Processing (NLP) task dealing with the detection and classification of sentiments in texts. While some tasks deal with identifying the presence of sentiment in the text (Subjectivity analysis), other tasks aim at determining the polarity of the text categorizing them as positive, negative and neutral. Whenever there is a presence of sentiment in the text, it has a source (people, group of people or any entity) and the sentiment is directed towards some entity, object, event or person. Sentiment analysis tasks aim to determine the subject, the target and the polarity or valence of the sentiment. In our work, we try to automatically extract sentiment (positive or negative) from Facebook posts using a machine learning approach.While some works have been done in code-mixed social media data and in sentiment analysis separately, our work is the first attempt (as of now) which aims at performing sentiment analysis of code-mixed social media text. We have used extensive pre-processing to remove noise from raw text. Multilayer Perceptron model has been used to determine the polarity of the sentiment. We have also developed the corpus for this task by manually labeling Facebook posts with their associated sentiments.

研究动机与目标

• 解决代码混杂社交媒体文本，特别是英-孟加拉语双语内容，缺乏情感分析工具的问题。
• 构建一个包含 565 个经人工标注的 Facebook 帖文的黄金标准数据集，标注情感极性（正面、负面、中性）。
• 通过为非正式、嘈杂且代码混杂的社交媒体文本量身定制的特征工程，提升情感分类性能。
• 研究不同特征类型——词级、语义、句法和风格——对情感分类准确率的影响。
• 应对低资源、多语言社交媒体文本中讽刺、否定和语境切换等挑战。

提出的方法

• 收集并预处理了 882 条 Facebook 帖文，去除噪声，标准化拼写，并翻译缩写。
• 通过两名人工标注者标注情感极性，仅保留 565 条达成一致意见的帖子（kappa = 0.4354），构建黄金标准数据集。
• 提取了包括词级特征（如情感词典）、语义特征（如 SWN、OL、ESW、BSW、CBW）、句法特征（词性标注：JJ、RB、RB_JJ）以及风格特征（UW、E、Q、R、CS、S1、S2）在内的多种特征。
• 使用这些特征的组合训练多层感知机（MLP）模型，以分类情感极性。
• 通过准确率、精确率、召回率和 F1 值评估性能，并通过消融研究评估特征影响。
• 采用迭代特征添加和单个特征移除的方法，识别对分类最具影响力的特征。

实验结果

研究问题

• RQ1 与基线方法相比，多层感知机模型在代码混杂社交媒体文本情感分类中的有效性如何？
• RQ2 词级、语义、句法和风格特征的哪种组合能实现最高的分类准确率？
• RQ3 包含风格特征（如大写单词、表情符号）对分类性能有何影响？
• RQ4 各个特征如何贡献于分类，哪些特征对准确的情感检测最为关键？
• RQ5 模型在中性情感分类上是否存在显著偏差，以及如何缓解这一问题？

主要发现

• 表现最佳的模型通过结合词基特征（第 1 组）和句法特征（第 2 组）实现了 68.5% 的准确率，优于基线模型（准确率 55.2%）。
• 引入基于风格的特征（UW、E、Q、R、CS）导致准确率下降，表明这些特征可能在代码混杂文本中引入噪声。
• 移除词性标注（JJ、RB、RB_JJ）和极性表情符号列表导致准确率最大降幅（降至 60.6%），凸显其关键作用。
• 移除 BSW（孟加拉语特有词汇）对准确率无影响，表明传统词典在社交媒体代码混杂文本中效果较差。
• 模型表现出对中性分类的显著偏差，23 个正面和 10 个负面帖子被错误分类为中性，表明在处理极性不平衡方面仍有改进空间。
• 混淆矩阵显示，中性类别召回率最高（85.7%），而正面和负面类别的 F1 值较低（分别为 0.55 和 0.513），表明对非中性情感的分类存在挑战。