[论文解读] Speedy Browsing and Sampling with NeedleTail.

Albert Kim, Liqi Xu+4 more|arXiv (Cornell University)|Nov 15, 2016

Data Management and Algorithms参考文献 50被引用 3

一句话总结

NeedleTail 是一种采样引擎，通过使用密度图和局部感知采样，实现对大型数据集中小而具代表性的样本的亚秒级浏览，从而加速探索性数据分析。与现有方法相比，其内存使用量最多降低30倍，响应速度最快提升10倍，并通过调查采样技术减轻偏差。

ABSTRACT

Exploratory data analysis often involves repeatedly browsing small samples of records that satisfy certain ad-hoc predicates, to form and test hypotheses, identify correlations, or make inferences. Unfortunately, existing database systems are not optimized for queries with a LIMIT clause---operating instead in an all-or-nothing manner. While workload aware caching, indexing, or precomputation schemes may appear promising remedies, they do not apply in an exploratory setting where the queries are ad-hoc and unpredictable. In this paper, we propose a fast sampling engine, called NeedleTail, aimed at letting analysts browse a small sample of the query results on large datasets as quickly as possible, independent of the overall size of the result set. NeedleTail introduces density maps, a lightweight in-memory indexing structure, and a set of efficient algorithms (with desirable theoretical guarantees) to quickly locate promising blocks, trading off locality and density. In settings where the samples are used to compute aggregates, we extend techniques from the statistics literature---in particular, from survey sampling---to mitigate the bias from using our sampling algorithms. Our experimental results demonstrate that NeedleTail returns results an order of magnitude faster while occupying up to 30x less memory than existing sampling techniques.

研究动机与目标

• 解决现有数据库系统在处理探索性数据分析中常见的临时性、小结果集查询时效率低下的问题。
• 无论总结果集大小如何，均实现从大型数据集中亚秒级的小结果集采样。
• 在不可预测、交互式的查询工作负载下，降低内存开销，同时保持采样质量和代表性。
• 通过调查采样文献中的技术，减轻聚合估计中的采样偏差。

提出的方法

• 提出密度图——一种轻量级内存索引结构，用于估算数据块的密度，以优先选择有希望的区域进行采样。
• 采用局部感知采样算法，平衡空间局部性和数据密度，以加速数据访问。
• 应用调查采样技术（如分层抽样和加权估计）以校正从采样数据中得出的聚合计算中的偏差。
• 采用基于数据块的采样策略，根据密度和接近度启发式方法选择整个数据块。
• 通过最小化 I/O 和随机访问，优先采用顺序和缓存友好的数据访问方式，以实现低延迟响应。

实验结果

研究问题

• RQ1 在缺乏查询模式先验知识的情况下，采样引擎是否能显著降低大型数据集上小样本查询的响应时间？
• RQ2 在探索性、临时查询环境中，如何实现既快速又内存高效的采样？
• RQ3 基于密度的索引和局部感知采样相较于传统采样方法，能在多大程度上提升性能？
• RQ4 在数据库环境中，能否通过调查采样技术有效减轻采样聚合中的统计偏差？

主要发现

• 与现有采样技术相比，NeedleTail 将平均查询响应时间最多降低一个数量级。
• 该系统相比基线方法，内存使用量最多减少30倍，适用于主内存部署。
• 密度图通过强理论保证采样质量和收敛性，实现高效的数据块选择。
• 通过整合调查采样方法，有效减少了聚合估计中的偏差，提升了采样统计的准确性。