[论文解读] Sentiment Uncertainty and Spam in Twitter Streams and Its Implications for General Purpose Realtime Sentiment Analysis

Nils Haldenwang, Oliver Vornberger|arXiv (Cornell University)|Jan 1, 2015

Spam and Phishing Detection参考文献 10被引用 2

一句话总结

本文提出了一项新的Twitter情感分析基准数据集，明确考虑了情感不确定性与垃圾信息，揭示超过50%的推文无法被明确标记为正面或负面。作者建议将不确定情感视为独立类别，以提升实时情感分析的可靠性，该数据集包含14,506条由人工标注的推文，显示55%的不确定性与15%的垃圾信息。

ABSTRACT

State of the art benchmarks for Twitter Sentiment Analysis do not consider the fact that for more than half of the tweets from the public stream a distinct sentiment cannot be chosen. This paper provides a new perspective on Twitter Sentiment Analysis by highlighting the necessity of explicitly incorporating uncertainty. Moreover, a dataset of high quality to evaluate solutions for this new problem is introduced and made publicly available.

研究动机与目标

• 解决现有Twitter情感分析基准中假设所有推文均可被明确标记为正面或负面的局限性。
• 认识到公共Twitter推文中相当大一部分不携带明确情感，因此需要对情感不确定性进行正式处理。
• 开发并发布一个高质量、具有代表性的数据集，用于评估真实世界Twitter流中的情感分析系统。
• 通过明确过滤垃圾信息并分类不确定情感，提升实时情感分析的可靠性。
• 为未来研究提供基础，构建能够处理不确定性和垃圾信息的系统，而非假设所有推文都具有情感属性。

提出的方法

• 从2012年6月至2013年8月期间收集了4300万条推文的随机样本，以最小化主题偏差。
• 每条推文由两名人工标注者分配以下四种类别之一：正面、负面、不确定或垃圾信息。
• 使用Fleiss’ Kappa衡量标注者间的一致性，得出中等程度的κ = 0.45，表明在情感边界上存在显著分歧。
• 分析分歧矩阵以识别系统性标注问题，尤其是正面/负面与不确定情感之间的分歧。
• 发布完整数据集，包括存在标签分歧的推文，以支持对处理不确定性和垃圾信息的系统的评估。
• 建议将不确定和垃圾推文进行过滤或显式处理，而非误分类为中性或具有情感的推文。

实验结果

研究问题

• RQ1 公共Twitter流中的推文在多大程度上难以被明确赋予情感标签？这种不确定性应如何正式建模？
• RQ2 垃圾信息和非情感内容的存在如何影响实时情感分析的可靠性？
• RQ3 当明确承认不确定性时，公共Twitter流中情感标签的真实分布是什么？
• RQ4 人工标注者在情感边界上的分歧程度如何？这对机器学习系统有何启示？
• RQ5 一个包含不确定性和垃圾信息的基准数据集能否提升对现实世界情感分析系统的评估？

主要发现

• 超过一半（55%）的标注推文被两名标注者均归类为不确定，表明绝大多数公共推文无法赋予明确情感。
• 在标签一致的推文中，垃圾信息占15%，凸显了在情感分析流程中实施有效垃圾过滤的必要性。
• 仅有30%的推文获得了明确的情感标签——其中13%为正面，17%为负面，表明大多数推文并非明显正面或负面。
• 标注者间的一致性为中等水平（Fleiss’ Kappa = 0.45），最大的分歧出现在正面/负面与不确定情感之间。
• 标注者对不确定推文的分歧最为显著，表明即使人类也难以在情感与不确定性之间做出清晰区分。
• 以往基准中被标记为中性的推文通常应属于不确定类别，表明中性并非一个可靠或独立的情感类别。