[论文解读] On Finding Minimal Infrequent Elements in Multi-dimensional Data Defined over Partially Ordered Sets

Khaled Elbassioni|arXiv (Cornell University)|Nov 9, 2014

Data Mining Algorithms and Applications参考文献 26被引用 4

一句话总结

本文提出了一种高效算法，用于在属性定义于部分有序集（posets）的多维数据库中发现最小不频繁元素，从而实现对定量、分类和区间数据中稀有关联与稀疏区域的识别。该方法利用在poset积上的树分解与对偶化技术，以可证明的效率枚举最小不频繁项集，为复杂数据结构中的稀有模式挖掘提供了可扩展的解决方案。

ABSTRACT

We consider databases in which each attribute takes values from a partially ordered set (poset). This allows one to model a number of interesting scenarios arising in different applications, including quantitative databases, taxonomies, and databases in which each attribute is an interval representing the duration of a certain event occurring over time. A natural problem that arises in such circumstances is the following: given a database $\mathcal{D}$ and a threshold value $t$, find all collections of "generalizations" of attributes which are "supported" by less than $t$ transactions from $\mathcal{D}$. We call such collections infrequent elements. Due to monotonicity, we can reduce the output size by considering only \emph{minimal} infrequent elements. We study the complexity of finding all minimal infrequent elements for some interesting classes of posets. We show how this problem can be applied to mining association rules in different types of databases, and to finding "sparse regions" or "holes" in quantitative data or in databases recording the time intervals during which a re-occurring event appears over time. Our main focus will be on these applications rather than on the correctness or analysis of the given algorithms.

研究动机与目标

• 解决在属性定义于部分有序集（posets）的数据库中识别稀有关联的挑战，包括定量、分类和区间值数据。
• 通过聚焦于最小不频繁元素而非频繁元素，减少关联规则挖掘中的冗余。
• 实现对多维数据中‘空洞’或稀疏区域的发现，例如代表性不足的时间区间或取值范围。
• 为通过poset数据库中的属性值泛化实现广义关联挖掘提供通用框架。
• 开发一种高效的最小不频繁元素枚举算法，使其可扩展以适应数据复杂性与poset结构。

提出的方法

• 将每个属性的域建模为有限部分有序集（poset），从而在统一框架中表示层次、区间和定量属性。
• 提出一种基于树状poset（MSTP）的递归分解策略，以划分搜索空间并降低计算复杂度。
• 利用对偶化技术验证poset积中反链的对偶性，确保在识别最小不频繁元素时的正确性。
• 使用相对频率计算支持度阈值：ε^A = |A_≥(a_i)| / |A| 和 ε^B = |B_¬≥(a_i)| / |B|，以指导递归分解决策。
• 根据阈值比较动态将poset划分为子组件（Q_i', Q_i''），支持并行与增量处理。
• 在缩减的poset组件上应用拓扑排序与递归子问题求解，以保持完备性并避免冗余计算。

实验结果

研究问题

• RQ1 如何在属性定义于部分有序集的多维数据库中高效枚举最小不频繁元素？
• RQ2 在poset数据库中挖掘稀有关联的计算复杂度是多少，特别是当属性表示为区间或定量范围时？
• RQ3 该框架能否检测到定量数据中的稀疏区域或‘空洞’，即某些值组合在数据中代表性不足？
• RQ4 与传统的二值化方法相比，poset泛化如何提升有意义的稀有关联发现能力？
• RQ5 哪些算法技术可实现在无需穷举搜索的情况下，对最小不频繁元素进行可扩展的枚举？

主要发现

• 所提出的算法通过利用树分解与对偶化技术，高效枚举了多维poset数据库中的最小不频繁元素，显著缩小了搜索空间。
• 该方法通过支持度阈值ε^A与ε^B引导的递归分解实现正确性，确保不会遗漏任何最小不频繁元素。
• 它能够检测定量数据中的稀疏区域，例如时间区间数据库中某些使用模式组合几乎不被观察到的情况。
• 该算法通过允许属性值在poset层次中抽象为更高级别的类别，支持广义关联规则的发现。
• 对于具有树状结构的poset，在特定条件下可实现多项式延迟与空间复杂度，适用于大规模数据挖掘。
• 该框架通过将分类、定量和层次数据模型统一于单一poset形式化体系下，推广了现有方法。