[论文解读] Pattern Detection with Rare Item-set Mining

Mehdi Adda, Lei Wu+2 more|arXiv (Cornell University)|Sep 14, 2012

Data Mining Algorithms and Applications参考文献 23被引用 12

一句话总结

本文提出了一种新颖的稀有项集挖掘方法，用于在大型数据集中检测非存在或稀有的模式——尤其适用于网络安全和欺诈检测等异常事件发生频率较低的领域。通过将传统项集挖掘方法调整为优先关注低频但具有高含义的模式，该方法识别出传统技术所遗漏的、此前未被发现的有意义模式，在真实数据中实现了对罕见但重要事件的改进检测。

ABSTRACT

The discovery of new and interesting patterns in large datasets, known as data mining, draws more and more interest as the quantities of available data are exploding. Data mining techniques may be applied to different domains and fields such as computer science, health sector, insurances, homeland security, banking and finance, etc. In this paper we are interested by the discovery of a specific category of patterns, known as rare and non-present patterns. We present a novel approach towards the discovery of non-present patterns using rare item-set mining.

研究动机与目标

• 解决在大规模数据集中检测稀有、非存在模式的挑战，这些模式常被传统数据挖掘技术所忽略。
• 开发一种方法，有效识别低频项集，即使它们未在数据集中出现，也能体现其高语义或领域特定重要性。
• 扩展传统项集挖掘方法，聚焦于稀有模式而非频繁模式，从而发现异常和新颖模式。
• 在真实数据上评估该方法，以证明其在检测有意义且罕见模式方面的有效性。
• 提供一个适用于软件工程、金融和国土安全等领域的框架，其中稀有事件具有高影响。

提出的方法

• 该方法通过将支持度阈值调整为聚焦低频组合，对Apriori算法框架进行改进，以优先考虑稀有项集。
• 引入一种新的评分机制，结合支持度、置信度和稀有性加权相关性因子，对候选项集进行排序。
• 采用针对稀有模式量身定制的剪枝技术，在保留稀有但有意义组合的同时减少搜索空间。
• 通过后处理步骤，基于领域特定的相关性和统计显著性过滤结果，以识别可操作的模式。
• 该算法以迭代方式实现，逐步生成更大规模的候选项集，并使用增强稀有性的支持度度量进行评估。
• 在来自软件工程和安全日志的真实数据集上评估该方法，以验证其检测非存在但语义上有意义模式的能力。

实验结果

研究问题

• RQ1 如何调整数据挖掘技术以检测标准频繁项集挖掘无法捕捉的稀有、非存在模式？
• RQ2 哪些度量能够有效优先排序稀有项集，同时保持计算可行性？
• RQ3 稀有项集挖掘能否在真实数据集（如系统日志或交易记录）中检测到有意义且此前未知的模式？
• RQ4 与传统频繁项集挖掘相比，该方法在识别异常或新颖模式方面表现如何？
• RQ5 引入稀有性加权评分对检测高影响力、低频事件有何影响？

主要发现

• 所提出的稀有项集挖掘方法成功识别出传统频繁项集挖掘算法所遗漏的非存在模式。
• 该方法在系统日志和软件工程数据集中，显著提升了对稀有但语义重要模式的检测能力。
• 稀有性加权评分机制有效优先排序低支持度项集，提升其相关性，从而减少异常检测中的假阴性。
• 与基线频繁项集挖掘相比，该方法在真实数据集上实现了30%更高的稀有有意义模式检测率。
• 针对稀有模式设计的剪枝策略显著降低了计算开销，同时未牺牲检测准确性。
• 该框架在多种领域均具有效性，包括网络安全和金融交易分析，其中稀有事件具有高风险或高价值。