[论文解读] Stance Classification in Rumours as a Sequential Task Exploiting the Tree Structure of Social Media Conversations

Arkaitz Zubiaga, Elena Kochkina+3 more|arXiv (Cornell University)|Sep 28, 2016

Misinformation and Its Impacts参考文献 27被引用 65

一句话总结

本文提出了一种新颖的Twitter谣言对话中序列立场分类方法，通过将回复线程建模为树状结构序列，利用线性链条件随机场（Linear-Chain CRF）和树状条件随机场（Tree CRF）来挖掘对话结构。结果表明，利用完整的树结构可显著提升非序列方法的宏平均F1分数，且树状CRF在八个突发新闻数据集上均优于线性CRF和基线模型。

ABSTRACT

Rumour stance classification, the task that determines if each tweet in a collection discussing a rumour is supporting, denying, questioning or simply commenting on the rumour, has been attracting substantial interest. Here we introduce a novel approach that makes use of the sequence of transitions observed in tree-structured conversation threads in Twitter. The conversation threads are formed by harvesting users' replies to one another, which results in a nested tree-like structure. Previous work addressing the stance classification task has treated each tweet as a separate unit. Here we analyse tweets by virtue of their position in a sequence and test two sequential classifiers, Linear-Chain CRF and Tree CRF, each of which makes different assumptions about the conversational structure. We experiment with eight Twitter datasets, collected during breaking news, and show that exploiting the sequential structure of Twitter conversations achieves significant improvements over the non-sequential methods. Our work is the first to model Twitter conversations as a tree structure in this manner, introducing a novel way of tackling NLP tasks on Twitter conversations.

研究动机与目标

• 为解决将谣言对话中的每条推文视为孤立单元、忽略对话上下文的局限性。
• 探究建模Twitter回复线程的序列结构是否能提升立场分类性能。
• 评估两种序列模型——线性链CRF与树状CRF——在谣言类Twitter对话中的立场分类效果。
• 确定捕捉对话完整树结构是否优于仅建模线性分支。
• 通过展示对话结构在立场检测中的价值，为未来社交媒体上的NLP任务奠定基础。

提出的方法

• 作者通过收集源推文的回复，构建嵌套的、树状结构的回复线程，形成Twitter对话。
• 将立场分类任务建模为序列标注问题，其中每条推文的立场（支持、否认、疑问、评论）基于其在对话树中的位置进行预测。
• 采用两种序列分类器：线性链CRF将每个回复分支视为线性序列，而树状CRF则建模整个对话树结构。
• 模型使用局部特征（如推文内容、词汇线索）并利用对话结构中立场类型之间的转移概率。
• 通过八个真实世界突发新闻事件的微平均和宏平均F1分数评估性能。
• 将该方法与非序列基线模型（包括最大熵模型和非序列CRF）进行比较，确保在相同特征条件下进行公平对比。

实验结果

研究问题

• RQ1 与将推文视为孤立单元相比，建模Twitter回复线程的序列结构是否能提升立场分类性能？
• RQ2 对话的完整树结构是否比线性分支更有利于立场分类？
• RQ3 树状CRF在不同谣言事件中的表现与线性链CRF及非序列模型相比如何？
• RQ4 利用对话结构在多大程度上改善了少数立场类别（如否认）的分类性能？
• RQ5 基于树状结构对话的序列建模能否推广至社交媒体上的其他NLP任务？

主要发现

• 树状CRF相比非序列模型获得了显著更高的宏平均F1分数，表明其在少数立场类别上表现更优。
• 在对话树的10个深度层级中的7个层级上，树状CRF优于线性链CRF，证明了全局结构上下文的价值。
• 尽管由于类别不平衡，各类模型的微平均F1分数相近，但宏平均F1分数显示，序列模型（尤其是树状CRF）提供了稳定提升。
• 该方法提升了所有立场类型（尤其是否认和疑问等代表性不足类别）的分类性能。
• 结果表明，对话结构——尤其是完整树结构——包含了对立场预测至关重要的序列上下文信息，其价值超越了局部推文特征。
• 本研究建立了一种新颖的立场分类框架，充分利用社交媒体对话结构，为用户生成内容的NLP任务中序列建模开辟了新方向。