[论文解读] Stance and Sentiment in Tweets

Saif M. Mohammad, Parinaz Sobhani+1 more|arXiv (Cornell University)|May 5, 2016

Sentiment Analysis and Opinion Mining参考文献 54被引用 10

一句话总结

本文提出了首个针对目标立场和情感极性进行标注的推文数据集，实现了对二者相互作用的首次系统性研究。该研究提出了一种基于n-gram、情感词典和词嵌入的简单立场检测系统，在SemEval-2016共享任务中19支参赛队伍中表现最优，F1分数达到70.3。

ABSTRACT

We can often detect from a person's utterances whether he/she is in favor of or against a given target entity -- their stance towards the target. However, a person may express the same stance towards a target by using negative or positive language. Here for the first time we present a dataset of tweet--target pairs annotated for both stance and sentiment. The targets may or may not be referred to in the tweets, and they may or may not be the target of opinion in the tweets. Partitions of this dataset were used as training and test sets in a SemEval-2016 shared task competition. We propose a simple stance detection system that outperforms submissions from all 19 teams that participated in the shared task. Additionally, access to both stance and sentiment annotations allows us to explore several research questions. We show that while knowing the sentiment expressed by a tweet is beneficial for stance classification, it alone is not sufficient. Finally, we use additional unlabeled data through distant supervision techniques and word embeddings to further improve stance classification.

研究动机与目标

• 创建首个大规模推文数据集，对立场（针对特定目标）和情感极性进行标注。
• 探究社交媒体文本中情感与立场之间的关系，特别是当观点表达对象与关注目标不一致时的情形。
• 开发一种鲁棒的立场检测系统，利用情感信息和词嵌入，即使目标未在文本中明确提及也能有效识别。
• 评估情感特征在立场检测中的有效性，并分析仅依赖情感特征的局限性。
• 探索使用无标注数据的远程监督技术，以提升立场分类性能。

提出的方法

• 对超过4,000条推文进行立场标注（支持、反对、中立），目标对象包括：无神论、气候变化、女权运动、希拉里·克林顿以及堕胎合法化。
• 收集额外标注，判断推文中表达的观点是针对目标对象，还是其他实体。
• 独立地为每条推文分配情感极性（正面、负面、中立）。
• 使用词和字符n-gram、情感词典特征以及通过远程监督从无标注数据中学习的词嵌入，训练线性核SVM分类器。
• 应用远程监督技术，利用外部知识源，提升在大规模无标注语料上的特征学习能力。
• 在SemEval-2016共享任务基准上评估系统性能，测试集来自标注数据集的保留集。

实验结果

研究问题

• RQ1 当推文中观点表达对象与立场目标不一致时，情感与立场如何相互作用？
• RQ2 与仅进行情感预测相比，情感特征在多大程度上能提升立场检测性能？
• RQ3 在未进行新标注的情况下，是否可将针对某一目标训练的立场检测系统泛化到同一领域内的其他目标？
• RQ4 使用词嵌入和情感词典的远程监督在多大程度上能提升立场分类性能？
• RQ5 当文本中未明确提及目标时，人类推理与自动系统在立场检测上的性能差距有多大？

主要发现

• 所提出的立场检测系统取得了70.3的F1分数，超越了SemEval-2016共享任务中19支参赛团队的最佳表现。
• 即使拥有标准情感和观点对象标注的“理想”系统，其F1分数也仅为59.6%，表明仅靠情感信息不足以实现准确的立场检测。
• 情感特征在立场检测中的有效性低于在情感预测中的表现，凸显了立场分类任务的独特挑战。
• 人类能够推断出针对未在文本中明确提及的目标的立场，但自动系统在这些情况下表现显著不足。
• 结合无标注数据学习的词嵌入与远程监督技术，显著提升了立场检测模型的性能。
• 该数据集揭示，大量推文表达的是对非目标实体的观点，凸显了真实社交媒体文本中立场检测的复杂性。