[论文解读] Selectivity Estimation with Deep Likelihood Models

Zongheng Yang, Eric Liang+8 more|arXiv (Cornell University)|May 10, 2019

Data Management and Algorithms参考文献 56被引用 12

一句话总结

该论文提出了一种用于数据库选择性估计的深度似然模型，利用蒙特卡洛积分高效处理复杂范围查询和通配符查询，且无需独立性假设。在尾部选择性区域实现了个位数乘法误差，相比最先进方法准确率提升40–200倍，同时保持空间和时间效率。

ABSTRACT

Selectivity estimation has long been grounded in statistical tools for density estimation. To capture the rich multivariate distributions of relational tables, we propose the use of a new type of high-capacity statistical model: deep likelihood models. However, direct application of these models leads to a limited estimator that is prohibitively expensive to evaluate for range and wildcard predicates. To make a truly usable estimator, we develop a Monte Carlo integration scheme on top of likelihood models that can efficiently handle range queries with dozens of filters or more. Like classical synopses, our estimator summarizes the data without supervision. Unlike previous solutions, our estimator approximates the joint data distribution without any independence assumptions. When evaluated on real-world datasets and compared against real systems and dominant families of techniques, our likelihood model based estimator achieves single-digit multiplicative error at tail, a 40-200$ imes$ accuracy improvement over the second best method, and is space- and runtime-efficient.

研究动机与目标

• 解决经典统计方法在建模关系表中复杂多变量数据分布时的局限性。
• 克服直接将深度似然模型应用于范围和通配符谓词时的高计算成本问题。
• 开发一种可扩展的无监督估计器，以捕捉联合数据分布，且无需假设属性独立性。
• 在保持空间和运行时效率的同时，实现高精度的选择性估计，特别是在尾部选择性区域。

提出的方法

• 采用深度似然模型作为高容量密度估计器，以捕捉关系数据中的丰富多变量分布。
• 设计一种蒙特卡洛积分方案，以高效近似深度似然模型上的查询选择性。
• 利用随机采样在无需显式边缘化的情况下评估范围和通配符谓词，从而降低计算成本。
• 维护一个紧凑的无监督数据摘要，以总结联合分布，且无需独立性假设。
• 利用似然模型对属性间复杂依赖关系的表示能力，提升估计精度。
• 优化积分方案，使其可扩展至数十个过滤器，从而实现在真实系统中的实际部署。

实验结果

研究问题

• RQ1 尽管计算成本较高，深度似然模型能否被有效适配用于数据库选择性估计？
• RQ2 如何利用蒙特卡洛积分使深度似然模型在范围和通配符查询中具备实用性？
• RQ3 与基于独立性或摘要的方法相比，似然模型能在多大程度上提升选择性估计的准确率？
• RQ4 所提方法能否在保持空间和时间效率的同时，实现在尾部选择性区域的高准确率？

主要发现

• 所提方法在尾部选择性区域实现了个位数乘法误差，显著优于现有技术。
• 相比第二好的方法，准确率提升40–200倍，显著提升了估计精度。
• 该估计器保持了空间和运行时效率，支持在真实世界数据库系统中的实际部署。
• 与先前方法不同，它在不假设属性独立性的前提下建模了联合数据分布，能够捕捉复杂的数据相关性。
• 蒙特卡洛积分方案使包含数十个过滤器的查询能够高效评估，提升了方法的可扩展性。
• 该方法为无监督学习，无需标注样本或训练数据即可对数据进行摘要。