[论文解读] Spotting Rumors via Novelty Detection

Yumeng Qin, Dominik Wurzer+2 more|arXiv (Cornell University)|Nov 19, 2016

Misinformation and Its Impacts参考文献 4被引用 27

一句话总结

本文引入基于新颖性的特征和伪反馈机制，通过识别相对于可信新闻源的未经证实信息，并利用与先前检测到的谣言的相似性，实现基于实时谣言检测。该方法在早期检测性能上显著优于现有实时方法，且计算时间恒定，适用于Twitter和新浪微博等高吞吐量数据流。

ABSTRACT

Rumour detection is hard because the most accurate systems operate retrospectively, only recognizing rumours once they have collected repeated signals. By then the rumours might have already spread and caused harm. We introduce a new category of features based on novelty, tailored to detect rumours early on. To compensate for the absence of repeated signals, we make use of news wire as an additional data source. Unconfirmed (novel) information with respect to the news articles is considered as an indication of rumours. Additionally we introduce pseudo feedback, which assumes that documents that are similar to previous rumours, are more likely to also be a rumour. Comparison with other real-time approaches shows that novelty based features in conjunction with pseudo feedback perform significantly better, when detecting rumours instantly after their publication.

研究动机与目标

• 解决社交媒体中早期谣言检测的关键需求，以在广泛传播前防止其造成危害。
• 克服依赖重复信号而仅在谣言传播后才被检测到的回顾式检测系统的局限性。
• 开发一种可扩展的实时解决方案，可在消息发布后立即运行，无需未来信息。
• 引入基于新颖性的特征，利用可信新闻作为参考，识别未经证实（可能为谣言）的内容。
• 利用伪反馈机制，通过借鉴与过往谣言的相似性，实现实时检测，而无需等待传播信号。

提出的方法

• 使用新闻通讯稿作为可信参考源，基于语义相似性计算社交媒体帖子的新颖性得分。
• 应用k项哈希技术表示新闻子文档，并通过微博与新闻片段之间的向量相似性计算新颖性得分。
• 通过测量新帖子与最近检测到的谣言之间的余弦相似度，实现伪反馈机制。
• 将新颖性特征与伪反馈特征结合标准类别特征（如标点符号、情感倾向、URL、长度、社交媒体标记）。
• 设计一种流式架构，所有特征均以恒定时间与空间复杂度计算，支持大规模实时处理。
• 对新闻子文档使用tf-idf加权，并结合k项哈希技术，以优化新颖性特征性能，同时保持高效性。

实验结果

研究问题

• RQ1 相对于可信新闻源的未经证实信息能否作为早期谣言检测的可靠信号？
• RQ2 在不依赖传播数据的情况下，与先前检测到的谣言的相似性能否提升实时检测性能？
• RQ3 与现有实时基线方法相比，基于新颖性的特征与伪反馈在消息发布后立即检测谣言的有效性如何？
• RQ4 所提出的特征是否足够高效，可支持在高吞吐量社交媒体数据流上持续实时处理？
• RQ5 与基于传播信号的方法相比，新颖性与伪反馈特征在多大程度上减少了检测延迟？

主要发现

• 基于新颖性的特征通过识别可信新闻源中不存在的未经证实信息，显著提升了早期谣言检测性能。
• 伪反馈使检测性能提升5.3%（相对值），表明与过往谣言的相似性可增强早期检测的准确性。
• 新颖性与伪反馈特征的结合在即时检测中优于所有实时与早期检测基线方法。
• 该系统在单核处理器上实现约每秒7,000条微博的吞吐量，超过Twitter（平均5,700条/秒）和新浪微博（平均1,200条/秒）的数据流速率。
• 使用tf-idf加权的前k项词时，k项哈希在新颖性特征中仅造成1%的绝对性能损失，显示出其鲁棒性与高效性。
• 该方法可检测即使传播范围有限的谣言，因其不依赖传播信号，而大多数先前方法并非如此。