[论文解读] The Case for Learned Spatial Indexes

Varun Pandey, Alexander van Renen+4 more|arXiv (Cornell University)|Aug 24, 2020

Data Management and Algorithms参考文献 44被引用 5

一句话总结

本文提出用学习模型（如 RadixSpline）替代经典多维索引中分区内的传统二分查找，以优化空间范围查询的精炼阶段。通过调优分区技术并利用机器学习实现分区内搜索，该方法在低选择性查询中尤其表现出色，查询性能提升达 11.79% 至 39.51%，其中基于 1D 网格的方案性能增益高于基于树的结构。

ABSTRACT

Spatial data is ubiquitous. Massive amounts of data are generated every day from billions of GPS-enabled devices such as cell phones, cars, sensors, and various consumer-based applications such as Uber, Tinder, location-tagged posts in Facebook, Twitter, Instagram, etc. This exponential growth in spatial data has led the research community to focus on building systems and applications that can process spatial data efficiently. In the meantime, recent research has introduced learned index structures. In this work, we use techniques proposed from a state-of-the art learned multi-dimensional index structure (namely, Flood) and apply them to five classical multi-dimensional indexes to be able to answer spatial range queries. By tuning each partitioning technique for optimal performance, we show that (i) machine learned search within a partition is faster by 11.79\% to 39.51\% than binary search when using filtering on one dimension, (ii) the bottleneck for tree structures is index lookup, which could potentially be improved by linearizing the indexed partitions (iii) filtering on one dimension and refining using machine learned indexes is 1.23x to 1.83x times faster than closest competitor which filters on two dimensions, and (iv) learned indexes can have a significant impact on the performance of low selectivity queries while being less effective under higher selectivities.

研究动机与目标

• 评估将学习型索引模型集成到经典多维空间索引结构中的性能影响。
• 识别哪些空间分区技术在使用学习型精炼替代传统二分查找时受益最大。
• 分析在使用机器学习进行空间查询处理时，索引构建时间、索引大小与查询性能之间的权衡。
• 确定学习型索引相较于传统方法表现更优或更差的条件。
• 探索将空间分区线性化并应用学习模型以提升可扩展性和效率的潜力。

提出的方法

• 作者实现了五种经典的空间分区技术：固定网格、自适应网格、k-d 树、四叉树和 STR 树，每种均采用标准的索引查找与精炼流程。
• 在精炼阶段，他们用学习模型（具体为 RadixSpline）替代二分查找，该模型在每个分区内的有序数据上进行训练，以预测查询边界。
• 系统使用真实世界数据集（纽约市出租车行程、OSM、推文）进行评估，覆盖不同选择性水平和数据分布（均匀与非均匀）。
• 性能在三个阶段进行测量：索引查找、精炼（搜索）和扫描，关键指标为查询运行时间和索引构建时间。
• 对分区方案进行调优以实现最佳性能，索引大小包含元数据和数据存储。
• 该方法借鉴了 Flood 索引（一种最先进的学习型多维索引）的技术，用于指导分区和模型训练。

实验结果

研究问题

• RQ1 在不同空间索引结构中，用学习型模型替代精炼阶段的二分查找，对整体查询性能有何影响？
• RQ2 哪些空间分区技术从学习型精炼中受益最多，原因是什么？
• RQ3 查询选择性如何影响使用学习型索引带来的性能增益？
• RQ4 在空间索引中使用学习型模型时，索引构建时间和大小有何影响？
• RQ5 学习型模型是否在 1D 网格分区中比在 2D 树形分区中带来更大的性能提升？如果是，原因是什么？

主要发现

• 在所有分区技术中，将精炼阶段的二分查找替换为学习型模型（RadixSpline）可使查询运行时间提升 11.79% 至 39.51%。
• 性能增益在低选择性查询中最为显著（例如选择性为 0.00001% 时），此时索引查找和精炼阶段主导了查询时间。
• 1D 网格分区（如固定网格、自适应网格）比 2D 树形结构（如四叉树、k-d 树）从学习型精炼中获益更多，原因在于每个分区需要更高的精炼频率。
• 在一维上进行过滤并用学习型模型精炼，比最接近的双维过滤方案快 1.23 倍至 1.83 倍。
• 索引构建时间最快的是固定网格和自适应网格（比 STR 树快 2.11 倍），而四叉树最慢，原因在于单元数量多且数据分布不均。
• 对于磁盘存储工作负载，I/O 是性能瓶颈，因此 2D 分区更占优势，因其与物理页大小对齐更好，且能减少不必要的数据访问。