[论文解读] Significant Subgraph Mining with Multiple Testing Correction

Mahito Sugiyama, Felipe Llinares López+2 more|arXiv (Cornell University)|Jul 1, 2014

Data Mining Algorithms and Applications参考文献 8被引用 7

一句话总结

本文提出了一种高效的显著子图挖掘方法，通过仅关注可测试子图并使用有效检验次数来校正多重假设检验，从而提高统计功效。该方法引入了一种新颖的增量搜索策略，相比以往方法快约100倍，同时保持精确性，使在化学信息学和系统生物学等图挖掘应用中能够发现更多真正显著的子图。

ABSTRACT

The problem of finding itemsets that are statistically significantly enriched in a class of transactions is complicated by the need to correct for multiple hypothesis testing. Pruning untestable hypotheses was recently proposed as a strategy for this task of significant itemset mining. It was shown to lead to greater statistical power, the discovery of more truly significant itemsets, than the standard Bonferroni correction on real-world datasets. An open question, however, is whether this strategy of excluding untestable hypotheses also leads to greater statistical power in subgraph mining, in which the number of hypotheses is much larger than in itemset mining. Here we answer this question by an empirical investigation on eight popular graph benchmark datasets. We propose a new efficient search strategy, which always returns the same solution as the state-of-the-art approach and is approximately two orders of magnitude faster. Moreover, we exploit the dependence between subgraphs by considering the effective number of tests and thereby further increase the statistical power.

研究动机与目标

• 解决由于大规模多重检验导致的计算不可行性和统计功效损失问题，这是显著子图挖掘中的双重挑战。
• 将此前在项目集挖掘中使用过的可测试假设概念，扩展到子图挖掘领域，其中搜索空间呈指数级增长。
• 开发高效的搜索算法，仅识别可测试子图，从而在不丢失显著模式的前提下减少检验次数。
• 通过使用有效检验次数来考虑子图之间的依赖关系，改进多重检验校正。
• 在真实世界图数据集上，实现比最先进方法更高的统计功效和更快的计算速度。

提出的方法

• 该方法利用频繁子图挖掘算法识别可测试子图——即可能达到统计显著性的子图——从而将不可测试的假设排除在校正之外。
• 提出一种增量搜索策略，高效计算子图的根频率，从而快速识别可测试子图，并将运行时间减少两个数量级。
• 该方法采用Tarone改进的邦弗伦尼校正，仅对可测试假设进行校正，因此相比标准邦弗伦尼校正具有更高的统计功效。
• 通过建模子图出现之间的依赖结构来计算有效检验次数，进一步降低校正因子，从而增强统计功效。
• 该方法将频繁子图挖掘与统计显著性检验相结合，确保所有真正显著的子图均被保留，同时最小化假阳性结果。

实验结果

研究问题

• RQ1 在项目集挖掘中已被证明有效的排除不可测试假设的策略，能否成功扩展到搜索空间大得多的子图挖掘中？
• RQ2 在图挖掘中，如何实现计算高效的可测试子图搜索，其中候选数量呈指数级增长？
• RQ3 能否通过考虑子图之间的依赖关系，使用有效检验次数来进一步改进子图挖掘中的多重检验校正？
• RQ4 聚焦于可测试子图是否能在真实世界图数据集中实现比标准邦弗伦尼校正更高的统计功效？
• RQ5 能否设计一种新的搜索策略，使其在显著子图挖掘中比现有方法更快且保持精确性？

主要发现

• 所提出的增量搜索策略相比最先进方法快约两个数量级，运行时间从增量方法的2.41×10⁴秒降低至1.23×10²秒。
• 通过仅关注可测试假设，该方法始终比标准邦弗伦尼校正检测到更多真正显著的子图，从而提高了统计功效。
• 有效检验次数通过考虑子图依赖关系降低了校正因子，进一步增强了统计功效，且未增加假阳性结果。
• 在全部八个基准数据集中，该方法成功计算了最多16个节点的子图根频率，仅有少数数据集因计算限制无法完成超过16个节点的计算。
• 该方法在速度和准确性上均优于暴力搜索和单遍扫描方法，其均方根偏差（RMSD）为1.23×10²秒，显著低于其他方法。