[论文解读] The Algorithms of Updating Sequential Patterns

Qingguo Zheng, Ke Xu+2 more|ArXiv.org|Mar 27, 2002

Data Mining Algorithms and Applications被引用 5

一句话总结

该论文提出了IUS和DUS算法，用于在动态时间数据库中进行增量式序列模式挖掘。通过利用频繁序列和负边界序列，该方法在数据变化时能高效更新模式，其中负边界阈值（Min_nbd_supp）控制计算开销，从而实现动态数据库中序列模式的可扩展维护。

ABSTRACT

Because the data being mined in the temporal database will evolve with time, many researchers have focused on the incremental mining of frequent sequences in temporal database. In this paper, we propose an algorithm called IUS, using the frequent and negative border sequences in the original database for incremental sequence mining. To deal with the case where some data need to be updated from the original database, we present an algorithm called DUS to maintain sequential patterns in the updated database. We also define the negative border sequence threshold: Min_nbd_supp to control the number of sequences in the negative border.

研究动机与目标

• 解决在随时间演化的时态数据库中维护序列模式的挑战。
• 降低数据更新后重新挖掘频繁序列的计算成本。
• 提出一种利用负边界序列的机制，以加速模式更新过程。
• 定义并应用一个阈值（Min_nbd_supp）以限制负边界的大小，从而控制更新开销。
• 开发可扩展的算法，实现在动态数据环境中实时或近实时的序列模式维护。

提出的方法

• IUS算法利用原始数据库中的频繁序列和负边界序列，实现无需完整重挖的序列模式增量更新。
• DUS算法在IUS基础上扩展，通过负边界结构识别受影响的模式，以处理数据更新。
• 引入负边界序列阈值（Min_nbd_supp），以限制负边界中考虑的序列数量，从而减少存储和计算开销。
• 算法依赖于一个性质：数据更新后，仅负边界中的序列或其超集可能发生改变。
• 通过利用负边界作为剪枝机制，分析旧数据库与新数据库之间的差异，计算模式更新。
• 通过仅关注可能受数据变化影响的序列，避免对更新后的数据库进行完整扫描。

实验结果

研究问题

• RQ1 当数据随时间演化时，如何高效地更新时态数据库中的序列模式？
• RQ2 负边界序列在增量模式更新过程中如何最小化重新计算量？
• RQ3 如何控制负边界的大小，以在模式维护的准确性和性能之间取得平衡？
• RQ4 与完整重挖相比，使用增量方法维护序列模式的计算开销是多少？
• RQ5 所提出的算法能否在频繁更新的大规模动态数据库中实现可扩展性？

主要发现

• IUS和DUS算法相比完整重挖，显著降低了更新序列模式的计算成本。
• 利用负边界序列能够高效识别出数据更新后受影响的模式。
• Min_nbd_supp阈值有效限制了负边界的大小，减少了存储和处理开销。
• 这些算法在数据更新过程中保持了频繁序列集合的正确性和完备性。
• 实验结果表明，该增量方法在数据量和更新频率增加时仍具有良好的可扩展性。
• 由于避免了对未改变数据的重复处理，该方法在动态环境中优于传统批量挖掘方法。