[论文解读] Real-Time Web Scale Event Summarization Using Sequential Decision Making

Chris Kedzie, Fernando Díaz+1 more|arXiv (Cornell University)|May 12, 2016

Advanced Text Analysis TechniquesComputer Science参考文献 20被引用 16

一句话总结

本文提出了一种实时、可扩展的网络流摘要系统，通过‘学习搜索’的序列决策方法，从实时新闻流中动态选择相关、全面且及时的更新内容。该系统在在线设置中联合建模相关性、新颖性、全面性和时效性，相较于最先进基线方法，在标准F₁上提升了28.3%，在时间敏感F₁上提升了43.8%。

ABSTRACT

We present a system based on sequential decision making for the online summarization of massive document streams, such as those found on the web. Given an event of interest (e.g. "Boston marathon bombing"), our system is able to filter the stream for relevance and produce a series of short text updates describing the event as it unfolds over time. Unlike previous work, our approach is able to jointly model the relevance, comprehensiveness, novelty, and timeliness required by time-sensitive queries. We demonstrate a 28.3% improvement in summary F1 and a 43.8% improvement in time-sensitive F1 metrics.

研究动机与目标

• 为解决从网络中大规模实时文档流（尤其是突发新闻或危机等时间敏感事件）进行摘要的挑战。
• 克服传统抽取式摘要方法的局限性，后者假设采用批处理并可完全访问文档。
• 在流式摘要中联合优化相关性、新颖性、全面性和时效性。
• 开发一种完全在线的系统，能够以低延迟处理大规模网络数据并最小化冗余。
• 超越现有依赖批处理或简单句子选择启发式方法的流式摘要系统。

提出的方法

• 该系统将流式摘要建模为序列决策问题，实时决定每个句子是否被选中或跳过。
• 采用受强化学习启发的‘学习搜索’方法，训练策略网络以模仿一个理想摘要生成器（oracle summarizer）。
• 模型使用句子相似度、主题覆盖度和时间新颖性等特征来指导决策。
• 引入相似度过滤机制和首句优先策略，以减少冗余并提升效率。
• 系统在流数据上端到端训练，采用结构化预测目标，以考虑累积摘要质量。
• 通过增量方式评估和更新摘要，确保时效性并避免冗余或无关内容。

实验结果

研究问题

• RQ1 序列决策框架能否在实时事件摘要中有效平衡相关性、新颖性、全面性和时效性？
• RQ2 在流式环境中，‘学习搜索’与传统抽取式摘要及批处理方法相比表现如何？
• RQ3 建模完整文档（而不仅首句）在多大程度上能提升摘要质量并减少错误？
• RQ4 不同类型的错误（遗漏、误报、重复）如何影响系统性能，能否被有效缓解？
• RQ5 一种考虑未来摘要质量的基于策略的方法，是否优于启发式或贪心选择策略？

主要发现

• 所提出的系统在多样化的真实世界事件查询上，相较于最先进基线，在标准F₁得分上提升了28.3%。
• 在时间敏感F₁上表现出43.8%的提升，凸显其在危机监测等低延迟应用场景中的有效性。
• LsCos变体在延迟惩罚和非惩罚评估中均优于所有其他系统，且提升具有统计显著性。
• 尽管Cos（仅首句）错误率较高——尤其达41.1%的空错误——但结合相似度过滤后，Ls-based模型将此类误报降低至仅1%。
• 内容遗漏，特别是文章主体部分的遗漏，是最大的错误类别，占错误总数高达30%，表明需改进内容识别能力。
• 该系统生成的摘要显著更简洁，相比Cos减少了400%的更新内容，因此更适合实时监控应用场景。