[论文解读] Superseding traditional indexes by orchestrating learning and geometry

Giorgio Vinciguerra, Paolo Ferragina+1 more|arXiv (Cornell University)|Mar 1, 2019

Data Management and Algorithms参考文献 33被引用 5

一句话总结

该论文提出了分段几何模型索引（PGM-index），一种通过线性模型对键分布进行几何分割的有学习能力的索引，相较于B树和先前的有学习能力索引，在时间和空间效率方面表现更优。该工作进一步提出了一种分布感知变体，并将PGM-index确立为多准则数据结构，能够自动优化针对特定应用的存储与查询时间之间的权衡，实验表明其性能提升达数个数量级。

ABSTRACT

We design the first learned index that solves the dictionary problem with time and space complexity provably better than classic data structures for hierarchical memories, such as B-trees, and modern learned indexes. We call our solution the Piecewise Geometric Model index (PGM-index) because it turns the indexing of a sequence of keys into the coverage of a sequence of 2D-points via linear models (i.e. segments) suitably learned to trade query time vs space efficiency. This idea comes from some known heuristic results which we strengthen by showing that the minimal number of such segments can be computed via known and optimal streaming algorithms. Our index is then obtained by recursively applying this geometric idea that guarantees a smoothed adaptation to the "geometric complexity" of the input data. Finally, we propose a variant of the index that adapts not only to the distribution of the dictionary keys but also to their access frequencies, thus obtaining the first distribution-aware learned index. The second main contribution of this paper is the proposal and study of the concept of Multicriteria Data Structure, namely one that asks a data structure to adapt in an automatic way to the constraints imposed by the application of use. We show that our index is a multicriteria data structure because its significant flexibility in storage and query time can be exploited by a properly designed optimisation algorithm that efficiently finds its best design setting in order to match the input constraints. A thorough experimental analysis shows that our index and its multicriteria variant improve uniformly, over both time and space, classic and learned indexes up to several orders of magnitude.

研究动机与目标

• 设计一种有学习能力的索引，使其在分层内存系统中，相较于传统B树和现代有学习能力索引，在时间和空间复杂度上均表现更优。
• 通过将键分布建模为由线性段覆盖的二维点序列，形式化并利用其几何复杂性。
• 开发一种递归几何构造方法，以实现对数据分布模式的平滑自适应。
• 通过引入访问频率信息，将索引扩展为分布感知型。
• 提出并研究多准则数据结构的概念，即数据结构能自动适应用户定义的性能与空间约束下的应用特定权衡。

提出的方法

• PGM-index将一组有序键建模为二维点集，其中每个键映射为坐标 (i, key_i)，并使用流式算法学习覆盖该点集的最少数量的线段。
• 利用已知的最优流式算法计算最少线段数量，确保线段选择的理论效率。
• 该索引通过递归应用此几何分割，构建出一种分层的、自适应的结构，以平衡查询时间和空间使用。
• 分布感知变体通过根据键的访问频率对线段加权，优化频繁访问的键。
• 该索引被形式化为多准则数据结构，其中优化算法基于用户定义的约束，自动选择存储与查询时间之间的最佳权衡。
• 理论保证源于使用流式算法进行最小线段覆盖，确保几何划分的最优性。

实验结果

研究问题

• RQ1 能否设计一种有学习能力的索引，使其在时间和空间复杂度上均能被证明优于B树和现有有学习能力索引？
• RQ2 如何利用键分布的几何特性来构建更高效的索引结构？
• RQ3 能否高效计算覆盖键序列所需的最少线段数量，并利用其构建可扩展的索引？
• RQ4 在保持空间与时间效率的前提下，索引在多大程度上能自适应访问频率模式？
• RQ5 能否正式定义一种数据结构为多准则结构，使其能自动优化应用特定的存储与查询时间权衡？

主要发现

• PGM-index通过将键分布建模为被线性段覆盖的几何点集，实现了在时间和空间复杂度上优于B树和现有有学习能力索引的理论保证。
• 使用最优流式算法进行最小线段覆盖，确保了几何划分的高效性与最小性。
• 几何模型的递归应用使得索引能够平滑适应输入数据的内在几何复杂性。
• PGM-index的分布感知变体通过在段学习过程中引入访问频率，显著提升了对频繁访问键的性能。
• 实验评估表明，PGM-index在时间和空间效率上全面优于经典索引和有学习能力索引，性能提升达数个数量级。
• PGM-index被正式确立为多准则数据结构，其优化框架可在用户定义约束下自动选择最佳设计参数。