[论文解读] Towards Real-Time Summarization of Scheduled Events from Twitter Streams

Arkaitz Zubiaga, Damiano Spina+2 more|arXiv (Cornell University)|Apr 17, 2012

Video Analysis and Summarization被引用 14

一句话总结

本文提出了一种两步法实时摘要系统，用于足球赛等预定事件，利用Twitter流进行子事件检测与基于文本分析（如KLD和TF）的推文选择，无需外部知识。系统在多语言环境下实现84%的平均召回率，关键子事件（如进球）的召回率为100%，表现出高度有效性。

ABSTRACT

This paper explores the real-time summarization of scheduled events such as soccer games from torrential flows of Twitter streams. We propose and evaluate an approach that substantially shrinks the stream of tweets in real-time, and consists of two steps: (i) sub-event detection, which determines if something new has occurred, and (ii) tweet selection, which picks a representative tweet to describe each sub-event. We compare the summaries generated in three languages for all the soccer games in "Copa America 2011" to reference live reports offered by Yahoo! Sports journalists. We show that simple text analysis methods which do not involve external knowledge lead to summaries that cover 84% of the sub-events on average, and 100% of key types of sub-events (such as goals in soccer). Our approach should be straightforwardly applicable to other kinds of scheduled events such as other sports, award ceremonies, keynote talks, TV shows, etc.

研究动机与目标

• 解决从高流量Twitter流中实时摘要直播事件的挑战。
• 在预定事件进行过程中，实时检测相关子事件（如进球、红牌等）。
• 实时为每个检测到的子事件选择最具代表性且语言恰当的推文。
• 在不依赖外部知识（如事件特定词典或先前事件模型）的前提下评估摘要性能。
• 证明该方法可推广至其他预定事件，如颁奖典礼、电视节目和主题演讲。

提出的方法

• 系统采用两步流水线：首先通过Kullback-Leibler散度（KLD）和词频（TF）检测子事件，识别推文数量突增与语义变化。
• 当当前与先前推文分布之间的KLD超过阈值时，触发子事件检测，表明内容发生显著变化。
• 在推文选择阶段，系统使用KLD或TF对检测到的子事件时间窗口内的推文进行排序，选择最能代表该事件的推文，且符合用户首选语言。
• 通过手动标注比赛开始时间实现时间对齐，将Yahoo! Sports报道中的子事件时间戳映射至Twitter流。
• 通过在检测与选择阶段分别按语言（西班牙语、英语、葡萄牙语）过滤和处理推文，实现语言特定的摘要。
• 该方法完全依赖内部文本分析与流历史，避免使用外部知识库或预训练模型。

实验结果

研究问题

• RQ1 能否仅通过基于文本的信号分析且无需外部知识，在Twitter流中实现实时子事件检测？
• RQ2 KLD-based内容变化检测在识别足球赛等直播事件中的关键子事件方面效果如何？
• RQ3 简单的文本分析方法（如TF、KLD）能否在摘要的推文选择中优于更复杂的模型？
• RQ4 在检测与选择过程中考虑完整流历史，能在多大程度上提升摘要的召回率与精确率？
• RQ5 该方法在不同语言及实际事件中推文数量差异较大的情况下，是否具有良好的泛化能力？

主要发现

• 与Yahoo! Sports直播报道相比，系统在所有子事件上的平均召回率达到84%。
• 对于关键子事件类型（如进球、红牌、比赛结束），召回率高达100%，表明检测近乎完美。
• 基于KLD的推文选择优于TF，三种语言（西班牙语、英语、葡萄牙语）的精确率均超过80%。
• 即使在推文数量较低的情况下，系统仍表现稳健，英语摘要在推文流规模仅为西班牙语十分之一的情况下仍达到79%的精确率。
• 基于KLD的子事件检测与比赛开始时间的时间对齐，实现了无需外部知识的准确、实时摘要。
• 该方法可推广至其他预定事件，如颁奖典礼、主题演讲和电视节目，因其不依赖领域特定知识。