[论文解读] Stale View Cleaning: Getting Fresh Answers from Stale Materialized Views

Sanjay Krishnan, Jiannan Wang+3 more|arXiv (Cornell University)|Sep 24, 2015

Data Management and Algorithms参考文献 45被引用 21

一句话总结

本文提出Stale View Cleaning（SVC），一种基于采样的技术，通过从过时物化视图中清洗一小部分最新数据行，以估计准确的聚合查询结果。通过将过时性视为数据清洗问题，SVC在避免完整视图更新的前提下，显著降低了维护成本，同时利用统计置信区间和异常值索引技术，为倾斜数据提供有界、实时的查询准确性。

ABSTRACT

Materialized views (MVs), stored pre-computed results, are widely used to facilitate fast queries on large datasets. When new records arrive at a high rate, it is infeasible to continuously update (maintain) MVs and a common solution is to defer maintenance by batching updates together. Between batches the MVs become increasingly stale with incorrect, missing, and superfluous rows leading to increasingly inaccurate query results. We propose Stale View Cleaning (SVC) which addresses this problem from a data cleaning perspective. In SVC, we efficiently clean a sample of rows from a stale MV, and use the clean sample to estimate aggregate query results. While approximate, the estimated query results reflect the most recent data. As sampling can be sensitive to long-tailed distributions, we further explore an outlier indexing technique to give increased accuracy when the data distributions are skewed. SVC complements existing deferred maintenance approaches by giving accurate and bounded query answers between maintenance. We evaluate our method on a generated dataset from the TPC-D benchmark and a real video distribution application. Experiments confirm our theoretical results: (1) cleaning an MV sample is more efficient than full view maintenance, (2) the estimated results are more accurate than using the stale MV, and (3) SVC is applicable for a wide variety of MVs.

研究动机与目标

• 解决高吞吐系统中因物化视图过时而导致查询结果不准确的问题。
• 通过避免每次数据更新后重新计算完整视图，降低物化视图维护的计算成本。
• 仅使用过时视图中一小部分最新数据样本，提供准确且有界的聚合查询结果估计。
• 将数据清洗技术扩展至物化视图维护问题，尤其针对过时环境下的聚合查询。
• 通过异常值索引技术提升倾斜数据分布下的准确性，增强采样可靠性。

提出的方法

• 使用基于哈希的技术，从基础数据中高效物化出均匀的最新数据行样本，将其视为过时视图的‘清洗后’样本。
• 将过时视图上的聚合查询处理问题建模为数据清洗问题，利用清洗样本估计真实聚合结果。
• 应用统计估计技术，包括中心极限定理，基于样本大小计算估计查询结果的置信区间。
• 引入异常值索引机制，减少长尾或倾斜数据分布中的采样偏差，提升对高频或高影响行的估计准确性。
• 通过推导将样本映射到完整视图聚合输出的元组关系表达式，支持广泛的聚合查询类型（例如，SUM、COUNT、AVG）。
• 提供估计误差的理论边界，其大小与样本大小成反比，使用户可灵活在准确性和成本之间权衡。

实验结果

研究问题

• RQ1 能否利用过时物化视图中一小部分最新数据行样本，以有界误差估计准确的聚合查询结果？
• RQ2 SVC的准确性与直接使用过时视图相比如何，特别是在不同数据倾斜度和查询选择性下？
• RQ3 在标准均匀采样表现不佳的倾斜数据分布中，异常值索引能否提升采样准确性？
• RQ4 SVC的计算成本相对于完整物化视图维护如何？是否能在保持高准确性的前提下显著降低？
• RQ5 SVC在不同类型物化视图和聚合查询工作负载中是否具有良好的泛化能力？

主要发现

• 清洗过时物化视图中的少量最新数据行，其效率远高于完整视图维护，在实践中计算成本可降低数个数量级。
• SVC估计的查询结果即使在小样本规模下，也始终比直接从过时物化视图获取的结果更准确。
• SVC为聚合估计提供了紧密且统计有界的置信区间，误差随样本大小增加而可预测地减小。
• 在倾斜数据集中，异常值索引技术可将估计准确性提升高达40%，尤其对高频或受异常值影响的聚合结果效果显著。
• SVC在多种工作负载中表现良好，包括TPC-D基准测试和真实世界的视频分发应用，展现出广泛的适用性。
• 该方法在低选择性聚合查询中尤为有效，而点查询仍因采样固有局限性而面临挑战。