[论文解读] TaSPM: Targeted Sequential Pattern Mining

Gengsen Huang, Wensheng Gan+1 more|arXiv (Cornell University)|Feb 26, 2022

Data Mining Algorithms and Applications被引用 6

一句话总结

本文提出 TaSPM，一种面向目标序列模式挖掘的通用框架，通过聚焦用户定义的查询序列来加速模式发现。基于 CM-SPAM 构建，TaSPM 采用四种剪枝策略以消除无关的模式扩展，从而在各类数据集和查询类型下，相较于基线方法实现更快的运行时间和更低的内存使用。

ABSTRACT

Sequential pattern mining (SPM) is an important technique of pattern mining, which has many applications in reality. Although many efficient sequential pattern mining algorithms have been proposed, there are few studies can focus on target sequences. Targeted querying sequential patterns can not only reduce the number of sequences generated by SPM, but also improve the efficiency of users in performing pattern analysis. The current algorithms available on targeted sequence querying are based on specific scenarios and cannot be generalized to other applications. In this paper, we formulate the problem of targeted sequential pattern mining and propose a generic framework namely TaSPM, based on the fast CM-SPAM algorithm. What's more, to improve the efficiency of TaSPM on large-scale datasets and multiple-items-based sequence datasets, we propose several pruning strategies to reduce meaningless operations in mining processes. Totally four pruning strategies are designed in TaSPM, and hence it can terminate unnecessary pattern extensions quickly and achieve better performance. Finally, we conduct extensive experiments on different datasets to compare the existing SPM algorithms with TaSPM. Experiments show that the novel targeted mining algorithm TaSPM can achieve faster running time and less memory consumption.

研究动机与目标

• 为解决传统序列模式挖掘（SPM）在生成大量无关模式时效率低下的问题，通过聚焦用户指定的目标序列来实现优化。
• 开发一种通用且可扩展的目标序列模式挖掘框架，适用于多样化领域。
• 通过在挖掘过程中消除无意义的模式扩展，降低计算开销和内存消耗。
• 提升在大规模事务数据中对单一项和多项目标序列的查询效率。
• 提供一种可扩展的解决方案，其运行时间和内存使用表现优于现有 SPM 算法（如 CM-SPAM）

提出的方法

• TaSPM 作为快速 CM-SPAM 算法的扩展而构建，利用其高效的模式生成机制。
• 该框架引入四种剪枝策略，在挖掘过程早期即消除无前景的模式扩展。
• 剪枝基于目标查询序列执行，确保仅探索相关子模式。
• 采用后处理技术，确保挖掘出的模式满足用户指定的结构和顺序约束。
• 该算法支持 I-Extension 和 S-Extension 查询，实现灵活的模式发现。
• TaSPM V2 是优化后的版本，通过增强剪枝策略和数据结构管理，进一步优化内存使用和运行时间。

实验结果

研究问题

• RQ1 如何通过聚焦用户定义的目标序列而非挖掘所有频繁模式，使序列模式挖掘更加高效？
• RQ2 哪些剪枝策略能有效减少目标挖掘过程中无意义的模式扩展数量？
• RQ3 在不同数据集上，TaSPM 与基线 SPM 算法（如 CM-SPAM）相比，在运行时间和内存消耗方面表现如何？
• RQ4 TaSPM 的性能如何随不同类型的查询序列（包括单一项和多项序列）而变化？
• RQ5 TaSPM 在数据集规模增大及最小支持度阈值变化时，其可扩展性如何？

主要发现

• TaSPM V2 的运行时间显著快于 CM-SPAM，尤其在大规模及基于多项目的数据集上表现更优。
• TaSPM V2 的内存消耗始终低于 CM-SPAM，在合成数据集和真实世界数据集上最高可降低数倍。
• 在 Accidents10k 和 Bible 数据集上，即使最小支持度（minsup）变化，TaSPM V2 仍保持稳定的内存使用，表现出强鲁棒性。
• 随着查询序列长度增加，TaSPM V2 的运行时间减少，而 TaSPM V1 基本保持不变，表明 V2 具有更好的可扩展性。
• 可扩展性实验表明，TaSPM V1 和 V2 对数据集规模的敏感度低于 CM-SPAM，因其性能取决于目标模式数量而非总数据量。
• 当在 Syn10k 数据集上将最小支持度降低至 5 时，CM-SPAM 无法发现任何模式，而 TaSPM V2 成功完成任务，展现出更优的鲁棒性。