[论文解读] Safe Pattern Pruning: An Efficient Approach for Predictive Pattern Mining

Kazuya Nakagawa, Shinya Suzumura+3 more|arXiv (Cornell University)|Feb 15, 2016

Data Mining Algorithms and Applications参考文献 9被引用 6

一句话总结

本文提出了一种名为安全模式剪枝（Safe Pattern Pruning, SPP）的新方法，用于高效预测性模式挖掘。该方法通过单次数据库遍历识别出构建最优预测模型所需的所有模式的超集。受安全特征筛选的启发，SPP采用一种剪枝规则，可保证移除非预测性模式及其后代，显著降低计算成本，相比需要重复扫描数据库的提升方法具有明显优势。

ABSTRACT

In this paper we study predictive pattern mining problems where the goal is to construct a predictive model based on a subset of predictive patterns in the database. Our main contribution is to introduce a novel method called safe pattern pruning (SPP) for a class of predictive pattern mining problems. The SPP method allows us to efficiently find a superset of all the predictive patterns in the database that are needed for the optimal predictive model. The advantage of the SPP method over existing boosting-type method is that the former can find the superset by a single search over the database, while the latter requires multiple searches. The SPP method is inspired by recent development of safe feature screening. In order to extend the idea of safe feature screening into predictive pattern mining, we derive a novel pruning rule called safe pattern pruning (SPP) rule that can be used for searching over the tree defined among patterns in the database. The SPP rule has a property that, if a node corresponding to a pattern in the database is pruned out by the SPP rule, then it is guaranteed that all the patterns corresponding to its descendant nodes are never needed for the optimal predictive model. We apply the SPP method to graph mining and item-set mining problems, and demonstrate its computational advantage.

研究动机与目标

• 解决现有直接方法在预测性模式挖掘中因需多次扫描数据库而导致的计算低效问题。
• 克服两阶段方法的局限性，后者分别优化模式选择与模型拟合，导致次优结果。
• 开发一种方法，识别出构建最优预测模型所必需的所有模式，而无需对所有可能的模式进行穷举搜索。
• 通过利用模式树的结构特性，实现在高维模式空间（如图和项目集）中的可扩展预测性模式挖掘。

提出的方法

• 提出一种新颖的剪枝规则——安全模式剪枝（SPP），可保证若某模式及其后代无法对最优模型产生贡献，则可安全地将其移除。
• 在模式树结构的单次遍历过程中应用SPP规则，从而无需对数据库进行迭代重新扫描。
• 借鉴凸优化中安全特征筛选的概念，推导出可安全排除某些模式的条件。
• 将预测性模式挖掘问题建模为在模式指示变量上的线性模型的稀疏学习任务，优化过程在剪枝后的模式集合上进行。
• 利用正则化路径系统性地探索模式的复杂度，SPP确保仅保留相关模式用于优化。
• 将SPP规则集成到基于树的模式生成算法中（如图的gSpan、项目集的Apriori类算法），以引导对模式空间的高效探索。

实验结果

研究问题

• RQ1 单次数据库遍历能否识别出构建最优预测模型所需的所有模式？
• RQ2 如何将特征选择中的安全筛选原则适配到数据库中模式的层次结构中？
• RQ3 何种剪枝规则可确保移除某一模式及其后代时，不会排除任何有用的预测性模式？
• RQ4 SPP在图挖掘和项目集挖掘任务中的计算成本与迭代提升方法相比如何？
• RQ5 与传统直接方法相比，SPP在减少模式遍历次数和优化调用次数方面能降低多少？

主要发现

• 与提升方法相比，SPP将模式树中遍历节点的数量减少了几个数量级，尤其在大量模式活跃时效果显著。
• SPP的计算时间显著低于提升方法，主要原因是SPP对每个正则化参数λ仅求解一次凸优化问题，而提升方法需在每一步重复优化。
• 在图挖掘任务（CPDB、致突变性、Bergstrom、Karthikeyan）中，SPP的总计算时间快于提升方法，其中求解时间的提升最为显著。
• 在项目集挖掘（splice、a9a、dna、protein）中，SPP显著降低了遍历时间和总计算时间，尤其在最大模式大小增加时更为明显。
• SPP方法保证最终模型为最优，因为它保留了最优集合A*中的所有模式，确保不会损失预测能力。
• 该方法在大规模数据库和高维模式空间中仍具有计算高效性，适用于现实世界中的预测性模式挖掘应用。