[论文解读] Using Gaussian Processes for Rumour Stance Classification in Social Media

Michał Łukasik, Kalina Bontcheva+4 more|arXiv (Cornell University)|Sep 7, 2016

Misinformation and Its Impacts被引用 8

一句话总结

本文提出了一种基于多任务高斯过程的分类器，用于社交媒体中的谣言立场自动分类，通过在不同谣言间迁移学习以提升泛化能力。该方法在有限标注数据条件下，尤其在估计谣言间立场分布方面显著优于最先进基线模型，宏观F1得分有显著提升。

ABSTRACT

Social media tend to be rife with rumours while new reports are released piecemeal during breaking news. Interestingly, one can mine multiple reactions expressed by social media users in those situations, exploring their stance towards rumours, ultimately enabling the flagging of highly disputed rumours as being potentially false. In this work, we set out to develop an automated, supervised classifier that uses multi-task learning to classify the stance expressed in each individual tweet in a rumourous conversation as either supporting, denying or questioning the rumour. Using a classifier based on Gaussian Processes, and exploring its effectiveness on two datasets with very different characteristics and varying distributions of stances, we show that our approach consistently outperforms competitive baseline classifiers. Our classifier is especially effective in estimating the distribution of different types of stance associated with a given rumour, which we set forth as a desired characteristic for a rumour-tracking system that will warn both ordinary users of Twitter and professional news practitioners when a rumour is being rebutted.

研究动机与目标

• 开发一种可跨不同谣言和数据集泛化的自动化监督立场分类器。
• 通过实时分析社交媒体对话中用户立场（支持、否认、质疑）来提升谣言真实性检测能力。
• 评估在低资源环境下，使用高斯过程进行多任务学习在谣言立场分类中的有效性。
• 评估时间顺序排列和特征工程（如布朗聚类）对立场分类性能的影响。
• 探索实际部署场景，包括从新谣言中获取有限标注数据。

提出的方法

• 该方法采用基于内在协同区域化模型（ICM）的多任务高斯过程分类器，以在多个谣言主题间共享信息。
• 在训练和推理过程中引入推文的时间顺序，以保留谣言讨论的序列动态。
• 文本特征源自布朗聚类嵌入，相比词袋模型更能有效捕捉语义和句法模式。
• 模型在旧的、已标注的谣言组合以及在‘留部分出’设置下，包含目标谣言少量标注实例的数据上进行训练。
• 采用两种实验设置：留一法（目标谣言无训练数据）和留部分出法（将目标谣言的少量标注实例纳入训练）。
• 该框架使用GPy工具包实现，并利用迁移学习，使模型能以极少标注数据泛化到未见谣言。

实验结果

研究问题

• RQ1 在仅有少量标注数据的情况下，多任务高斯过程分类器能否有效泛化至新的、未见过的谣言？
• RQ2 尊重推文的时间顺序对谣言对话中立场分类性能有何影响？
• RQ3 相较于传统的词袋表示，布朗聚类特征在立场分类中能多大程度上提升性能？
• RQ4 该分类器在估计谣言中立场类型（支持、否认、疑问）分布方面表现如何，特别是在类别不平衡的数据集中？
• RQ5 当目标谣言无任何标注数据时，哪种分类器表现最佳——高斯过程还是传统基线模型？

主要发现

• GP-ICM分类器在宏观F1得分上显著优于竞争性基线模型，展现出更强的立场类型分布估计能力。
• 在‘留部分出’设置下，当目标谣言的少量标注推文被纳入训练时，GP-ICM达到最高性能，表明其能从极少量标注数据中实现强大泛化。
• 即使在无目标谣言任何标注数据的‘留一法’设置下，GP-ICM仍保持具有竞争力的性能，但在这种极端低资源场景中，MaxEnt和随机森林等分类器表现更优。
• 使用布朗聚类特征相比词袋特征带来更优性能，凸显了语义表示在立场分类中的重要性。
• 该分类器在平衡各类别分布方面表现突出，使其能可靠检测高度争议且可能为假的谣言。
• 结果表明，当可获取少量新谣言的标注实例时，GP-ICM是最合适的选择，具有实际部署的可行性。