[论文解读] Tsunami: A Learned Multi-dimensional Index for Correlated Data and Skewed Workloads

Jialin Ding, Vikram Nathan+2 more|arXiv (Cornell University)|Jun 23, 2020

Data Management and Algorithms参考文献 32被引用 19

一句话总结

Tsunami 是一种经过学习的、基于内存的多维索引，通过使用 Grid Tree 实现查询倾斜适应，利用增强型网格实现相关性感知的分区，动态优化相关数据和倾斜的工作负载。与现有学习型索引相比，它实现了高达 6 倍的查询性能提升和 8 倍更小的索引大小，与调优后的传统索引相比，查询速度最高快 11 倍，索引大小减少 170 倍。

ABSTRACT

Filtering data based on predicates is one of the most fundamental operations for any modern data warehouse. Techniques to accelerate the execution of filter expressions include clustered indexes, specialized sort orders (e.g., Z-order), multi-dimensional indexes, and, for high selectivity queries, secondary indexes. However, these schemes are hard to tune and their performance is inconsistent. Recent work on learned multi-dimensional indexes has introduced the idea of automatically optimizing an index for a particular dataset and workload. However, the performance of that work suffers in the presence of correlated data and skewed query workloads, both of which are common in real applications. In this paper, we introduce Tsunami, which addresses these limitations to achieve up to 6X faster query performance and up to 8X smaller index size than existing learned multi-dimensional indexes, in addition to up to 11X faster query performance and 170X smaller index size than optimally-tuned traditional indexes.

研究动机与目标

• 解决现有学习型多维索引在处理相关数据和倾斜查询工作负载时的局限性。
• 设计一种自优化索引，针对给定数据集和工作负载，联合优化数据布局和索引结构。
• 在存在数据相关性和非均匀查询访问模式的真实场景中，减少索引大小并提升查询吞吐量。
• 在无需手动调优的情况下，实现对多样化数据分布和访问模式的鲁棒、自适应性能。

提出的方法

• Tsunami 使用 Grid Tree——一种轻量级决策树——将数据空间划分为非重叠区域，通过在各区域间均衡访问频率来最小化查询倾斜。
• 它采用增强型网格结构，利用函数映射和条件累积分布函数（CDF）来建模各维度之间的相关性。
• Grid Tree 使用查询工作负载统计信息进行训练，以指导分区，确保高频访问区域得到高效索引。
• 函数映射将相关维度转换到低维空间，以减少索引大小并提升查找效率。
• 条件 CDF 允许索引根据另一维度的值自适应地建模某一维度的分布，从而提升选择性估计的准确性。
• 该系统在单一端到端流水线中联合优化数据存储布局和索引结构，消除了手动调优的需求。

实验结果

研究问题

• RQ1 学习型多维索引如何在不降低性能的前提下，有效适应倾斜的查询工作负载？
• RQ2 能否利用数据维度之间的相关性，在聚簇索引中减少索引大小并提升查询性能？
• RQ3 如何联合优化索引结构和数据布局，以实现优于传统或现有学习型索引的性能？
• RQ4 何种数据结构能够实现高效、自适应的分区，即使在数据相关性存在的情况下也能保持均匀的单元大小？

主要发现

• 在相关性和倾斜工作负载下，Tsunami 的查询吞吐量相比现有学习型多维索引最高提升 6 倍。
• 与先前的学习型索引相比，Tsunami 将索引大小减少了高达 8 倍，显著提升了内存效率。
• 与最优调优的传统索引相比，Tsunami 在查询性能上最高快 11 倍，索引大小减少高达 170 倍。
• Grid Tree 通过在各区域间均衡访问频率，有效缓解了查询倾斜，提升了热点区域的性能。
• 增强型网格结构利用函数映射和条件 CDF 捕获复杂相关性，保持了高选择性和低误差。
• Tsunami 通过端到端的索引与数据布局联合优化，消除了手动调优的需要，并确保了在多样化工作负载下的鲁棒性能。