[论文解读] Stance in Replies and Quotes (SRQ): A New Dataset For Learning Stance in Twitter Conversations

Ramón Villa-Cox, Sumeet Kumar+2 more|arXiv (Cornell University)|Jun 1, 2020

Topic Modeling被引用 12

一句话总结

本文介绍了回复与引用中的立场（SRQ）数据集，这是目前规模最大、经人工标注的推特对话立场数据集，包含超过5,200个标注样本，专为提升对回复与引用中否认和拥护立场的检测能力而设计。作者采用针对性的数据收集方法，偏向非中立回应，从而实现更均衡的类别分布，并表明由于语言模式差异，回复与引用需要分别建模；基于GloVe的深度学习模型在性能上优于更复杂的特征组合。

ABSTRACT

Automated ways to extract stance (denying vs. supporting opinions) from conversations on social media are essential to advance opinion mining research. Recently, there is a renewed excitement in the field as we see new models attempting to improve the state-of-the-art. However, for training and evaluating the models, the datasets used are often small. Additionally, these small datasets have uneven class distributions, i.e., only a tiny fraction of the examples in the dataset have favoring or denying stances, and most other examples have no clear stance. Moreover, the existing datasets do not distinguish between the different types of conversations on social media (e.g., replying vs. quoting on Twitter). Because of this, models trained on one event do not generalize to other events. In the presented work, we create a new dataset by labeling stance in responses to posts on Twitter (both replies and quotes) on controversial issues. To the best of our knowledge, this is currently the largest human-labeled stance dataset for Twitter conversations with over 5200 stance labels. More importantly, we designed a tweet collection methodology that favors the selection of denial-type responses. This class is expected to be more useful in the identification of rumors and determining antagonistic relationships between users. Moreover, we include many baseline models for learning the stance in conversations and compare the performance of various models. We show that combining data from replies and quotes decreases the accuracy of models indicating that the two modalities behave differently when it comes to stance learning.

研究动机与目标

• 为解决推特对话中缺乏大规模、类别均衡的立场数据集，特别是针对否认和拥护立场的问题。
• 克服现有数据集偏向“评论”作为主要类别、而否认类样本不足的局限性。
• 创建一个能区分回复与引用的新数据集，因为二者在立场表达中被视为不同模态。
• 为谣言检测和社区极化分析等应用，实现对话中立场的更好建模。
• 提供基线模型，并评估不同输入特征与数据类型（回复、引用、合并）下的性能表现。

提出的方法

• 开发了一种偏向于可能表达否认的回应的推文收集方法，以改善类别平衡。
• 从2018年三个具有争议性的美国事件中收集了回应-目标对，并额外获取了非事件特定的数据。
• 对具有代表性的回应-目标对样本进行了立场标注：支持、否认或中立。
• 引入了两个新的立场类别：显式和隐式非中立回应，以增强错误分析能力。
• 使用GloVe、SKP、DMJ及组合特征训练并比较了多种模型，模型结构为单个全连接层与ReLU激活函数。
• 采用RMSProp优化器，使用分类交叉熵损失函数，并通过初步实验调整了初始的**学习率**和**层大小**。

实验结果

研究问题

• RQ1 在回复与引用上分别训练的立场检测模型性能有何差异？是否需要分别建模？
• RQ2 是否可以通过提高否认和拥护立场比例的更均衡数据集，来提升模型对这些少数类别的性能？
• RQ3 不同输入表示方式（GloVe、SKP、DMJ、组合）如何影响立场分类的性能？
• RQ4 将回复与引用合并为单一训练集是否会降低模型准确率，从而表明二者在立场表达上存在根本性差异？
• RQ5 在该小规模数据集上，SVM与TF-IDF特征的简单模型是否优于深度学习模型？

主要发现

• 基于GloVe的深度学习模型在所有数据集上的F1分数（微平均）达到最高，优于更复杂的特征组合（如SKPDMJ）。
• 在合并的回复与引用数据上训练的模型性能劣于仅在单一模态上训练的模型，表明回复与引用表现出截然不同的立场表达模式。
• 混淆矩阵中，否认类别的表现最佳，证实了数据收集方法在提升该关键类别检测能力方面的成功。
• 使用TF-IDF特征的SVM模型性能与深度学习模型相当，表明在小规模立场数据集上，简单模型同样有效。
• 单层全连接层的性能优于多层网络，表明该数据集上模型复杂度并不必然提升性能。
• 引入显式与隐式非中立立场类别，实现了更细致的错误分析，揭示了依赖上下文的分类挑战。