[论文解读] Unasssuming View-Size Estimation Techniques in OLAP

Kamel Aouiche, Daniel Lemire|ArXiv.org|Mar 12, 2007

Advanced Database Systems and Queries参考文献 8被引用 4

一句话总结

该论文评估了OLAP数据仓库中几种无假设视图大小估算技术——Gibbons-Tirthapura、概率计数、LogLog和多重分形建模。结果表明，Gibbons-Tirthapura在所有视图大小下均提供稳定且理论上有界的估计；概率计数在大视图中更准确；LogLog表现较差；而多重分形方法速度最快但精度较低。

ABSTRACT

Even if storage was infinite, a data warehouse could not materialize all possible views due to the running time and update requirements. Therefore, it is necessary to estimate quickly, accurately, and reliably the size of views. Many available techniques make particular statistical assumptions and their error can be quite large. Unassuming techniques exist, but typically assume we have independent hashing for which there is no known practical implementation. We adapt an unassuming estimator due to Gibbons and Tirthapura: its theoretical bounds do not make unpractical assumptions. We compare this technique experimentally with stochastic probabilistic counting, LogLog probabilistic counting, and multifractal statistical models. Our experiments show that we can reliably and accurately (within 10%, 19 times out 20) estimate view sizes over large data sets (1.5 GB) within minutes, using almost no memory. However, only Gibbons-Tirthapura provides universally tight estimates irrespective of the size of the view. For large views, probabilistic counting has a small edge in accuracy, whereas the competitive sampling-based method (multifractal) we tested is an order of magnitude faster but can sometimes provide poor estimates (relative error of 100%). In our tests, LogLog probabilistic counting is not competitive. Experimental validation on the US Census 1990 data set and on the Transaction Processing Performance (TPC H) data set is provided.

研究动机与目标

• 评估OLAP数据仓库中无假设视图大小估算技术的准确性和性能。
• 在真实世界数据仓库工作负载下，对比最先进的无假设估算器——Gibbons-Tirthapura、概率计数、LogLog和多重分形建模。
• 评估理论上的估计误差边界在实际中是否成立，尤其是小视图大小下的情况。
• 确定不同估算技术在内存使用、速度和准确性之间的权衡。
• 为物化视图选择启发式方法提供实证指导。

提出的方法

• 采用Gibbons-Tirthapura估算器，利用三重独立哈希实现无假设、误差有界的估算，并具备理论保证。
• 实现概率计数和LogLog概率计数，两者均基于哈希的去重计数，通过内存参数M控制精度。
• 采用基于样本统计量（去重计数F₀、最大频率m_max、样本大小N′）的多重分形模型，无需分布假设即可估算视图大小。
• 使用标准化测试流程：以不同比例（p ∈ {0.1%, 0.3%, 0.5%, 0.7%}）采样数据，使用每种技术估算视图大小，记录时间和估算值，并与真实值比较。
• 通过20次运行的95百分位误差评估可靠性及理论边界符合度。
• 在真实数据集（美国1990年人口普查）和合成数据集（TPC-H）上评估性能，以确保结果的普适性。

实验结果

研究问题

• RQ1 像Gibbons-Tirthapura、概率计数和LogLog这样的无假设估算器的理论误差边界是否在各种视图大小下均实际成立？
• RQ2 每种估算器的准确性如何随视图大小变化，特别是在偏态效应显著的小视图中？
• RQ3 Gibbons-Tirthapura、概率计数、LogLog和基于采样的多重分形方法之间的相对性能（速度与准确性）权衡如何？
• RQ4 尽管存在统计假设，多重分形模型是否能作为全扫描估算器的实用、快速替代方案？
• RQ5 内存使用（M）如何影响每种技术的准确性？理论中观察到的1/√M精度缩放在实践中是否成立？

主要发现

• Gibbons-Tirthapura在所有视图大小下均持续提供有界且稳定的估算，其实验验证了其理论95百分位误差边界（19/20可靠性）。
• 在小视图大小下，概率计数和LogLog的相对误差超过100%，表明在关键情况下可靠性差。
• 多重分形估算器比其他方法快约100倍，估算时间约为2秒，但估算结果更粗糙，精度较低。
• 概率计数在准确性和速度上均优于LogLog，因此尽管LogLog理论上有吸引力，但不推荐使用。
• 估算时间主要由流式处理和哈希操作决定；在US Census 1990数据集上，Gibbons-Tirthapura、概率计数和LogLog每项耗时约5–7分钟。
• 所有估算器的内存使用量极低（几MiB），即使在理论内存参数M下，也适用于数据仓库环境。