[论文解读] Reputation Systems for News on Twitter: A Large-Scale Study

Luca de Alfaro, Massimo Di Pierro+5 more|arXiv (Cornell University)|Feb 22, 2018

Misinformation and Its Impacts参考文献 11被引用 7

一句话总结

本文提出了一种基于用户身份和文章文本特征的Twitter新闻声誉系统，可高精度、极低误报率（<1%）检测主流媒体平台上的虚假或误导性新闻。研究证明，仅通过基于转发行为和内容元数据训练的简单逻辑回归模型，即可识别超过85%的高传播度虚假新闻，同时对可信媒体来源保持极强的可靠性。

ABSTRACT

Social networks offer a ready channel for fake and misleading news to spread and exert influence. This paper examines the performance of different reputation algorithms when applied to a large and statistically significant portion of the news that are spread via Twitter. Our main result is that simple algorithms based on the identity of the users spreading the news, as well as the words appearing in the titles and descriptions of the linked articles, are able to identify a large portion of fake or misleading news, while incurring only very low (&lt;1%) false positive rates for mainstream websites. We believe that these algorithms can be used as the basis of practical, large-scale systems for indicating to consumers which news sites deserve careful scrutiny and skepticism.

研究动机与目标

• 评估声誉算法在大规模真实世界Twitter数据集上检测虚假或误导性新闻的性能。
• 评估这些系统在初始训练数据中未包含的未知低质量新闻网站上的泛化能力。
• 将主流可信新闻来源的误报率最小化，这对用户对自动化检测系统的信任至关重要。
• 探索声誉系统作为可扩展工具的可行性，用于在人工事实核查前识别可疑新闻网站。

提出的方法

• 作者从Twitter收集了550万篇新闻文章、8800万条推文和900万名用户的数据，涵盖主流媒体、同行评审出版物以及已知的低质量网站。
• 评估了三种声誉算法：基于用户身份和文章标题/摘要词汇的逻辑回归模型；基于用户共享转发行为聚类的主題建模变体；以及受图上调和函数启发的基于图的众包方法。
• 通过两个独立的低质量新闻网站列表建立真实标签：Opensources（2017年）和Metacert，每份列表约包含500个网站。
• 性能评估基于约140万条新闻项目和2000万条推文的时间切片，重点评估虚假新闻的召回率以及主流媒体来源的误报率。
• 该系统作为Truth Value Project的一部分实现，提供公共API、Twitter机器人（hoaxbot）和浏览器书签工具，支持实时声誉评分。
• 通过调和众包方法支持增量学习，使系统能够随着新数据的到来动态更新。

实验结果

研究问题

• RQ1 当应用于Twitter上分享的全部新闻范围时，声誉系统在检测虚假或误导性新闻方面的有效性如何？
• RQ2 这些系统在主流新闻来源上的误报率是多少，是否保持在可接受的低水平？
• RQ3 声誉系统能否从已知的低质量网站泛化，以识别其他可疑或此前未知的网站？
• RQ4 基于用户、内容和图的算法方法在性能和可扩展性方面如何比较？

主要发现

• 结合用户身份和文章文本特征的逻辑回归模型，在转发量超过10条的虚假新闻中实现了超过85%的召回率，同时在主流新闻来源上的误报率低于1%。
• 仅依赖用户身份的算法表现几乎与同时使用用户和内容特征的算法相当，仅在一次性共享URL的情况下，内容特征提供了显著提升。
• 调和众包方法表现出强大的泛化能力，当在两个独立的真实标签列表中任一训练时，分类结果差异极小，表明其在不同训练数据下的鲁棒性。
• 在误报分析过程中，系统成功识别出大量此前未知的低质量新闻网站，表明其作为人工事实核查人员的前瞻性工具具有实用价值。
• 站点检测性能表现强劲，当使用完整训练集时，另一真实标签列表中至少包含20个URL的站点中，超过80%被正确标记为虚假或误导性。
• 尽管调和方法效果良好，但由于其依赖于图的完整连通结构，需要大量调优，导致小规模实验难以进行。