[论文解读] Real Time Discovery of Dense Clusters in Highly Dynamic Graphs: Identifying Real World Events in Highly Dynamic Environments

Manoj K. Agarwal, Krithi Ramamritham+1 more|arXiv (Cornell University)|Jun 30, 2012

Data Management and Algorithms被引用 11

一句话总结

本文提出一种实时算法，通过将动态微博流中的新兴事件建模为演化图中的密集聚类，实现对新兴事件的发现。利用一种新颖的短周期特性（SCP）识别强时间相关性的双连通关键词聚类，该方法在真实硬件上实现每秒处理超过5,000条消息的高吞吐量，以高精度（0.911）和高召回率（0.935）实现实时检测，优于离线方法，展现出优异的可扩展性。

ABSTRACT

Due to their real time nature, microblog streams are a rich source of dynamic information, for example, about emerging events. Existing techniques for discovering such events from a microblog stream in real time (such as Twitter trending topics), have several lacunae when used for discovering emerging events; extant graph based event detection techniques are not practical in microblog settings due to their complexity; and conventional techniques, which have been developed for blogs, web-pages, etc., involving the use of keyword search, are only useful for finding information about known events. Hence, in this paper, we present techniques to discover events that are unraveling in microblog message streams in real time so that such events can be reported as soon as they occur. We model the problem as discovering dense clusters in highly dynamic graphs. Despite many recent advances in graph analysis, ours is the first technique to identify dense clusters in massive and highly dynamic graphs in real time. Given the characteristics of microblog streams, in order to find clusters without missing any events, we propose and exploit a novel graph property which we call short-cycle property. Our algorithms find these clusters efficiently in spite of rapid changes to the microblog streams. Further we present a novel ranking function to identify the important events. Besides proving the correctness of our algorithms we show their practical utility by evaluating them using real world microblog data. These demonstrate our technique's ability to discover, with high precision and recall, emerging events in high intensity data streams in real time. Many recent web applications create data which can be represented as massive dynamic graphs. Our technique can be easily extended to discover, in real time, interesting patterns in such graphs.

研究动机与目标

• 为解决从高吞吐量微博流（如Twitter）中实时检测新兴现实世界事件的挑战。
• 克服基于关键词的趋势话题和传统聚类方法的局限性，后者会遗漏早期阶段的事件或需要预先知晓事件关键词。
• 开发一种可扩展的实时聚类技术，识别密集且具有时间相关性的关键词组，而无需依赖预定义查询或长期流行度信息。
• 通过利用一种新颖的图特性——短周期特性（SCP）——捕捉突发性、共现的关键词模式，确保事件检测具有高精度和高召回率。
• 设计高效的增量算法，用于动态图的维护，支持在高吞吐量数据流上的实时性能。

提出的方法

• 将微博流建模为动态图，其中节点代表关键词，边代表在滑动时间窗口内最近消息中的共现关系。
• 引入短周期特性（SCP）作为新型图特征：聚类必须包含至少一个长度≤4的环，以指示关键词之间存在强烈的时间与空间相关性。
• 使用自适应关键词图（AKG）仅维护突发性关键词及其共现关系，将图规模缩减至原始完整关键词图（CKG）的2%以下。
• 应用增量聚类算法，检测并维护满足SCP的双连通分量，实现在节点或边增删时的实时更新。
• 设计一种新颖的评分函数，基于突发性、聚类密度和时间一致性对发现的聚类进行排序，优先识别重要事件。
• 以固定时间量子（量子大小β）处理消息，在每个量子结束时执行聚类发现，以平衡响应速度与效率。

实验结果

研究问题

• RQ1 能否在高吞吐量微博流中实时可靠地检测到密集且具有时间相关性的关键词聚类？
• RQ2 短周期特性（SCP）是否可作为动态图中识别新兴事件的稳健且高效的指标？
• RQ3 所提出的实时聚类方法在精度、召回率和可扩展性方面与离线方法或传统基于关键词的方法相比表现如何？
• RQ4 使用自适应关键词图（AKG）在不牺牲检测精度的前提下，能在多大程度上降低计算开销？
• RQ5 该算法在不同参数设置和事件强度下，其稳定性与鲁棒性如何？

主要发现

• 所提方法在真实微博数据上实现0.911的精度和0.935的召回率，显著优于离线聚类方法。
• 几乎所有实时事件聚类中均存在短周期特性（SCP），验证了其作为核心检测标准的有效性。
• 该算法在普通机器上每秒可处理超过5,000条消息，展现出强大的可扩展性与实时性能。
• 通过使用自适应关键词图（AKG），边数减少至原始CKG的2%以下，显著降低计算成本。
• 聚类平均大小稳定在约5–7个节点，且在不同参数设置下发现的事件数量保持一致，表明算法具有良好的鲁棒性。
• 该方法成功识别出主流新闻或趋势话题未能捕捉的事件，包括低关注度但时间上连贯的事件。