[论文解读] Towards a semantic and statistical selection of association rules

Slim Bouker, Rabie Saidi+2 more|arXiv (Cornell University)|May 24, 2013

Data Mining Algorithms and Applications参考文献 32被引用 4

一句话总结

本文提出 RAR 算法，一种新颖的算法，通过使用天际线支配与语义可比性来选择语义上可比且统计上非被支配的关联规则，以减少规则爆炸问题。该方法在无需设定阈值或选择度量指标的情况下，实现了显著的规则集压缩——最高可达 90% 的减少，且在规则集大小与一致性方面优于基于阈值的方法。

ABSTRACT

The increasing growth of databases raises an urgent need for more accurate methods to better understand the stored data. In this scope, association rules were extensively used for the analysis and the comprehension of huge amounts of data. However, the number of generated rules is too large to be efficiently analyzed and explored in any further process. Association rules selection is a classical topic to address this issue, yet, new innovated approaches are required in order to provide help to decision makers. Hence, many interesting- ness measures have been defined to statistically evaluate and filter the association rules. However, these measures present two major problems. On the one hand, they do not allow eliminating irrelevant rules, on the other hand, their abun- dance leads to the heterogeneity of the evaluation results which leads to confusion in decision making. In this paper, we propose a two-winged approach to select statistically in- teresting and semantically incomparable rules. Our statis- tical selection helps discovering interesting association rules without favoring or excluding any measure. The semantic comparability helps to decide if the considered association rules are semantically related i.e comparable. The outcomes of our experiments on real datasets show promising results in terms of reduction in the number of rules.

研究动机与目标

• 解决关联规则挖掘算法生成的规则集过于庞大的挑战。
• 克服现有有趣性度量的局限性，这些度量存在异质性，且无法消除语义上无关的规则。
• 提供一个统一的规则选择框架，避免偏向任何单一度量指标，同时确保语义一致性。
• 将规则数量减少至可管理的、具有代表性的集合，且无需用户指定阈值。
• 实现有效的规则选择，支持个性化排序与用户驱动的决策支持，适用于现实世界的应用。

提出的方法

• 应用天际线算子，基于多个有趣性度量识别非被支配的规则，其中若另一条规则在所有度量上均更优，则认为该规则被支配。
• 引入语义可比性模型，以在应用支配关系前判断两条规则是否属于同一语义上下文。
• 使用基于支配关系的过滤过程，仅比较语义上可比的规则，避免错误剔除。
• 集成代表性规则生成机制，从非被支配且可比的子集中选择最小且非冗余的规则集合。
• 利用包含置信度、召回率、Pearl、Loevinger 和 Zhang 的多度量评估框架，以实现多样化的统计度量。
• 使用来自 UCI 数据库的现实世界数据集评估规则集，以衡量规则数量的减少与语义一致性的提升。

实验结果

研究问题

• RQ1 如何改进关联规则选择方法，以在不依赖阈值设置的情况下减少规则数量？
• RQ2 现有有趣性度量在多大程度上导致规则排名不一致或矛盾？
• RQ3 基于多个度量的支配方法是否能有效识别最有趣的规则，而不会偏向任一度量？
• RQ4 语义可比性如何防止在规则选择过程中剔除语义上无关的规则？
• RQ5 不同数量和类型的有趣性度量对最终规则集大小与质量有何影响？

主要发现

• 与基于阈值的规则集相比，RAR 算法将代表性规则数量减少了高达 90%，展现出强大的紧凑性。
• 由于在多个度量上施加了严格的支配条件，非被支配规则的数量通常极低——有时少于 10 条。
• 在评估框架中增加更多度量可能增加或减少代表性规则的数量，具体取决于支配关系的变化。
• 即使在最优阈值设置下，代表性规则集的规模也始终小于基于阈值的规则集（TB-rules），证明 RAR 具备更优越的压缩能力。
• 语义可比性可防止剔除语境上无关的规则，从而保留有意义的多样性，避免错误排除。
• 该方法在统计严谨性与语义相关性之间实现了平衡，为决策者提供了更一致且更具可操作性的规则集。