[论文解读] Streaming Algorithms for Pattern Discovery over Dynamically Changing Event Sequences

Debprakash Patnaik, Naren Ramakrishnan+2 more|arXiv (Cornell University)|May 21, 2012

Data Mining Algorithms and Applications参考文献 16被引用 8

一句话总结

本文提出了一种流算法，用于在动态变化的事件序列中使用滑动窗口模型以批处理方式发现前-k个频繁模式。通过利用边界集在批次间重用计算，该方法将候选生成成本从 $F^2$ 降低至 $FF_{\text{new}}$，在频繁模式近似良好分离的条件下提供了理论近似保证，并在真实和合成数据上展现出强劲的实验性能。

ABSTRACT

Discovering frequent episodes over event sequences is an important data mining task. In many applications, events constituting the data sequence arrive as a stream, at furious rates, and recent trends (or frequent episodes) can change and drift due to the dynamical nature of the underlying event generation process. The ability to detect and track such the changing sets of frequent episodes can be valuable in many application scenarios. Current methods for frequent episode discovery are typically multipass algorithms, making them unsuitable in the streaming context. In this paper, we propose a new streaming algorithm for discovering frequent episodes over a window of recent events in the stream. Our algorithm processes events as they arrive, one batch at a time, while discovering the top frequent episodes over a window consisting of several batches in the immediate past. We derive approximation guarantees for our algorithm under the condition that frequent episodes are approximately well-separated from infrequent ones in every batch of the window. We present extensive experimental evaluations of our algorithm on both real and synthetic data. We also present comparisons with baselines and adaptations of streaming algorithms from itemset mining literature.

研究动机与目标

• 解决在高吞吐量、动态变化的事件流中挖掘频繁时间模式的挑战，其中传统多轮算法不可行。
• 实现实时发现滑动窗口内最近事件批次的前-k个频繁模式，而无需存储整个数据流。
• 通过重用前一批次的工作并利用边界集数据结构，降低候选生成的计算开销。
• 在频繁模式在每批次中近似良好分离的假设下，提供理论近似保证。
• 通过引入 $(v,k)$-持久模式的概念，支持持久模式的发现，以识别随时间持续存在的模式。

提出的方法

• 以固定大小的批次处理事件流，维护一个最近批次的滑动窗口以进行模式发现。
• 采用边界集数据结构，高效追踪并重用连续批次之间的频繁模式。
• 采用类似 Apriori 的逐层方法进行模式挖掘，但通过仅关注当前批次中新出现的频繁模式来优化候选生成。
• 使用第 $k^{\text{th}}$ 个最频繁模式的频率阈值来定义前-k个模式集合，避免使用任意的支持度阈值。
• 提出一种基于时间窗口内最大频率的新频率度量，结合最小长度约束，以支持流式上下文。
• 提出 $(v,k)$-持久模式的概念，用于识别在 $k$ 个连续窗口中每窗口至少出现 $v$ 次的模式。

实验结果

研究问题

• RQ1 在内存有限且具有实时处理约束的流式环境中，能否高效地执行频繁模式发现？
• RQ2 在数据流中连续批次间挖掘频繁模式时，如何降低候选生成的计算开销？
• RQ3 在动态数据条件下，前-k个模式发现的准确性可提供何种理论保证？
• RQ4 如何在流式事件序列中区分持久存在的模式与短暂的突发模式？
• RQ5 与现有流式项集挖掘方法相比，所提出的算法在准确性和效率方面有多大程度的提升？

主要发现

• 通过在批次间重用边界集，该算法将候选生成成本从 $F^2$ 降低至 $FF_{\text{new}}$，显著提升了计算效率。
• 在频繁模式在每批次中近似良好分离的条件下，该方法提供了近似保证。
• 在真实和合成数据上的实验评估表明，该算法在严格内存和时间约束下仍能保持高精度，准确识别前-k个频繁模式。
• 该算法在计算效率和模式检测准确性方面均优于基线方法以及项集挖掘文献中的改进方法。
• 引入 $(v,k)$-持久模式使算法能够有效识别动态数据中稳定且重复出现的模式，如神经活动或网络流量异常。
• 该方法具有通用性，可推广至其他具有类似结构和时间约束的模式类别。