[论文解读] Stance Classification for Rumour Analysis in Twitter: Exploiting Affective Information and Conversation Structure

Endang Wahyu Pamungkas, Valerio Basile+1 more|arXiv (Cornell University)|Jan 7, 2019

Misinformation and Its Impacts参考文献 8被引用 18

一句话总结

本文提出了一种用于推特谣言分析的立场分类模型，通过整合对话结构与情感特征，提升对用户在新兴谣言中立场（支持、否认、质疑或评论）的检测能力。该方法在无需依赖深度学习的情况下，于 SemEval-2017 Task 8 基准测试中超越了先前的最先进系统，证明了结构化特征与情感特征工程在虚假信息遏制中的有效性。

ABSTRACT

Analysing how people react to rumours associated with news in social media is an important task to prevent the spreading of misinformation, which is nowadays widely recognized as a dangerous tendency. In social media conversations, users show different stances and attitudes towards rumourous stories. Some users take a definite stance, supporting or denying the rumour at issue, while others just comment it, or ask for additional evidence related to the veracity of the rumour. On this line, a new shared task has been proposed at SemEval-2017 (Task 8, SubTask A), which is focused on rumour stance classification in English tweets. The goal is predicting user stance towards emerging rumours in Twitter, in terms of supporting, denying, querying, or commenting the original rumour, looking at the conversation threads originated by the rumour. This paper describes a new approach to this task, where the use of conversation-based and affective-based features, covering different facets of affect, has been explored. Our classification model outperforms the best-performing systems for stance classification at SemEval-2017 Task 8, showing the effectiveness of the feature set proposed.

研究动机与目标

• 为应对在谣言传播背景下检测用户对新兴谣言在推特对话中的立场这一挑战，特别是针对虚假信息的传播。
• 通过整合对话结构与超越基础情感的情感信息，提升立场分类的准确性。
• 克服现有系统在处理罕见类别（如“否认”）以及模糊情况（如讽刺或混合意图）方面的局限性。
• 提供一种稳健的、非深度学习的模型，利用人工设计的特征以增强可解释性与性能。
• 分析误分类案例，识别持续存在的挑战，如讽刺、字面引用以及标注中的类别不平衡问题。

提出的方法

• 该方法构建了一个特征矩阵，结合了基于对话的特征（如回复深度、线程结构、回复方向性）与来自多种情感与情感词典（如 LIWC、EmoLex、SentiStrength）的情感特征。
• 引入对话行为特征以建模交流意图，将情感内容与功能（如同意、否认或信息请求）关联起来。
• 采用监督学习方法（如 SVM 或逻辑回归）在 SemEval-2017 Task 8 数据集上进行训练，特征工程旨在反映语言与结构上下文。
• 进行特征重要性分析，以评估不同特征组（包括结构、情感与对话行为成分）的贡献。
• 对误分类案例进行错误分析，重点关注讽刺、字面引用与边界标注问题，以识别模型局限性。
• 通过重采样技术缓解类别不平衡问题，结果显示在数据集平衡后，“否认”类别的性能显著提升。

实验结果

研究问题

• RQ1 对话结构特征在谣言线程中如何提升立场分类性能？
• RQ2 捕捉多样化情感维度（如恐惧、惊讶、信任）的情感特征在超越基础情感的基础上，能在多大程度上增强立场检测？
• RQ3 基于人工设计特征的系统是否能在谣言分析的立场分类中超越深度学习模型？
• RQ4 当前立场分类系统的主要失效模式是什么，特别是在讽刺、引用与模糊标注方面？
• RQ5 类别不平衡如何影响模型性能，是否可通过特征工程与数据平衡技术有效缓解？

主要发现

• 所提出的模型在 SemEval-2017 Task 8 基准测试中达到最先进性能，超越了所有先前发表的谣言立场分类系统。
• 对话特征与情感特征的引入显著提升了分类准确率，其中情感特征在区分“支持”与“评论”立场方面贡献尤为显著。
• 模型在讽刺方面表现不佳，将讽刺性支持性回复错误分类为“评论”，凸显了情感特征设计在隐含语气识别上的关键局限。
• 当原始推文为支持性时，对来源推文的字面引用常被错误分类为“评论”，表明需在预处理阶段加入引用内容检测机制。
• 原始数据集中“否认”类别因类别不平衡而被低估，但在数据集平衡后性能显著提升，表明数据分布对模型结果有重大影响。
• 黄金标准标注中的混合或边界情况（如同时质疑与评论的回复）导致误分类，揭示了标注过程中的挑战。