[论文解读] Probabilistic Models for Query Approximation with Large Sparse Binary Datasets

Dmitry Pavlov, Heikki Mannila+1 more|arXiv (Cornell University)|Jan 16, 2013

Bayesian Modeling and Causal Inference参考文献 15被引用 30

一句话总结

本文提出一种基于频繁集和最大熵的马尔可夫随机场（MRF）模型，以提升在大规模稀疏二值数据集中的实时查询选择性估计精度。MRF方法在概率估计精度上显著优于独立性模型或Chow-Liu树模型，尽管计算成本更高，但通过使用桶消除法和团树算法，有效实现了对结构化查询和模型的可扩展推理。

ABSTRACT

Large sparse sets of binary transaction data with millions of records and thousands of attributes occur in various domains: customers purchasing products, users visiting web pages, and documents containing words are just three typical examples. Real-time query selectivity estimation (the problem of estimating the number of rows in the data satisfying a given predicate) is an important practical problem for such databases. We investigate the application of probabilistic models to this problem. In particular, we study a Markov random field (MRF) approach based on frequent sets and maximum entropy, and compare it to the independence model and the Chow-Liu tree model. We find that the MRF model provides substantially more accurate probability estimates than the other methods but is more expensive from a computational and memory viewpoint. To alleviate the computational requirements we show how one can apply bucket elimination and clique tree approaches to take advantage of structure in the models and in the queries. We provide experimental results on two large real-world transaction datasets.

研究动机与目标

• 解决大规模稀疏二值事务数据中实时查询选择性估计的挑战。
• 提升在包含数百万条记录和数千个属性的数据集上查询的概率估计精度。
• 在真实世界数据集上评估并比较概率模型——特别是MRF、独立性模型和Chow-Liu树模型。
• 通过结构感知优化技术（如桶消除法和团树）降低MRF推理的计算成本。
• 利用概率建模实现可扩展且高效的查询近似，以应对实际数据库工作负载。

提出的方法

• 作者采用基于频繁项集训练的马尔可夫随机场（MRF）模型，以捕捉稀疏二值数据中的高阶依赖关系。
• 利用最大熵原理构建MRF，以确保在与观测到的频繁集一致的前提下，分布尽可能均匀。
• 应用桶消除法和团树算法，以利用模型和查询中的条件独立结构，降低推理成本。
• 通过利用MRF中的局部图结构，实现对合取查询的高效概率估计。
• 将该方法与独立性模型（假设属性间相互独立）和Chow-Liu树模型（一阶马尔可夫网络）进行对比。
• 推理过程采用针对稀疏、高维二值数据优化的变量消去技术。

实验结果

研究问题

• RQ1 在大规模稀疏二值数据集上，基于MRF的模型与独立性模型和Chow-Liu树模型相比，在查询选择性估计方面表现如何？
• RQ2 利用频繁集和最大熵原理是否能提升概率查询近似的准确性？
• RQ3 MRF推理的计算开销有多大？能否通过桶消除法和团树等结构感知算法降低？
• RQ4 模型结构与查询结构在多大程度上相互作用，影响推理效率？
• RQ5 所提出的方法能否扩展到包含数百万笔事务和数千个属性的真实世界数据集？

主要发现

• 结合频繁集与最大熵的MRF模型在概率估计精度上显著优于独立性模型和Chow-Liu树模型。
• 在两个大规模真实世界事务数据集上，MRF方法在选择性估计方面均优于基线模型。
• 尽管计算和内存开销更高，MRF模型仍因能够建模高阶依赖关系而实现更优的精度。
• 桶消除法和团树算法通过利用模型和查询结构中的条件独立性，有效降低了推理时间和内存使用。
• 所提出的优化技术实现了可扩展的推理，使MRF模型在大规模数据库的实时查询近似中具备实用性。
• 结果表明，将频繁项集中的结构信息融入模型能显著提升建模保真度和估计精度。