[论文解读] Reuters Tracer: Toward Automated News Production Using Large Scale Social Media Data

Xiaomo Liu, Armineh Nourbakhsh+4 more|arXiv (Cornell University)|Nov 11, 2017

Web Data Mining and Analysis被引用 8

一句话总结

路透社Tracer是一个全自动新闻生产系统，利用Twitter数据实时检测、分类并分发突发新闻，每日处理超过1200万条推文，端到端延迟低于40毫秒。该系统在时效性上优于人工记者，可提前8至60分钟发布突发新闻，同时通过一系列机器学习和基于规则的算法，保持高精度、高召回率以及事实真伪估计能力。

ABSTRACT

To deal with the sheer volume of information and gain competitive advantage, the news industry has started to explore and invest in news automation. In this paper, we present Reuters Tracer, a system that automates end-to-end news production using Twitter data. It is capable of detecting, classifying, annotating, and disseminating news in real time for Reuters journalists without manual intervention. In contrast to other similar systems, Tracer is topic and domain agnostic. It has a bottom-up approach to news detection, and does not rely on a predefined set of sources or subjects. Instead, it identifies emerging conversations from 12+ million tweets per day and selects those that are news-like. Then, it contextualizes each story by adding a summary and a topic to it, estimating its newsworthiness, veracity, novelty, and scope, and geotags it. Designing algorithms to generate news that meets the standards of Reuters journalists in accuracy and timeliness is quite challenging. But Tracer is able to achieve competitive precision, recall, timeliness, and veracity on news detection and delivery. In this paper, we reveal our key algorithm designs and evaluations that helped us achieve this goal, and lessons learned along the way.

研究动机与目标

• 利用实时社交媒体数据，全自动完成从检测到分发的整个新闻生产流程。
• 应对信息过载背景下，大规模检测具有新闻价值事件的挑战，确保高精度与高时效性。
• 在减少人工记者干预的同时，维持专业水准的准确性和可信度。
• 实时估计新兴新闻事件的真实性，以减轻社交媒体上虚假信息的传播。
• 通过利用大数据与机器学习技术，使新闻机构在速度与覆盖范围上获得竞争优势。

提出的方法

• 使用包含13个节点的分布式大数据基础设施，每日处理超过1200万条推文。
• 采用自下而上的方法，对主题和领域均无预设，无需依赖预定义来源或主题，检测新兴对话。
• 通过迭代过滤减少噪声，仅保留基于语言特征、时间特征和网络特征的新闻类事件。
• 结合基于规则的模型与机器学习模型，对新闻进行分类，估计其新闻价值、真实性、新颖性及影响范围。
• 利用自然语言处理与上下文嵌入技术，生成带地理标签的摘要与标题。
• 采用两级分发系统：实时预警推送用于早期警报，灾难推送则设有真实性阈值，用于高置信度报道。

实验结果

研究问题

• RQ1 全自动系统能否在时效性与准确性上超越人工记者，从社交媒体中检测突发新闻？
• RQ2 系统如何实现实时估计新兴新闻事件的真实性，以减少虚假信息的传播？
• RQ3 自下而上的、与主题无关的方法在多大程度上能跨多样化领域与地理区域检测具有新闻价值的事件？
• RQ4 自动化系统在检测突发事件（如自然灾害、事故与冲突）方面的表现如何？
• RQ5 如何结合机器学习与基于规则的模型，实现实时新闻检测中的高精度与高召回率？

主要发现

• Tracer在检测突发新闻方面具备具有竞争力的精度与召回率，将摄入数据中的99%过滤为仅具新闻价值的事件。
• 系统在每日处理超过5000万条推文的规模下，仍能实现约40毫秒的端到端延迟。
• Tracer在超过50起重大突发新闻事件中，为路透社记者提供了8至60分钟的提前预警，包括拉斯维加斯枪击案与纽约市恐怖袭击事件。
• 事实真伪估计算法在虚假新闻与谣言早期出现阶段，检测准确率达60–70%，且随着推文数量增加而进一步提升。
• Tracer捕获了全球媒体每日报道新闻的70%（在每日处理5000万条推文时，最高可达95%），展现出在各类主题与地理区域的广泛覆盖能力。
• 尽管仅限于英文，Tracer经常比主流媒体更早报道非英语国家的事件，可能是因为目击者使用英文以获得全球可见性。