[论文解读] REMIX: Efficient Range Query for LSM-trees

Wenshao Zhong, Chen Chen+2 more|arXiv (Cornell University)|Oct 24, 2020

Advanced Data Storage Technologies参考文献 41被引用 8

一句话总结

本文提出 REMIX，一种空间高效、持久的索引结构，可在多个 LSM-tree 表文件之间维护键值（KV）数据的全局有序视图。通过支持二分查找和无需键比较的顺序检索，REMIX 加速了写优化型 LSM-tree 存储（如 RemixDB）中的范围查询，在使用分层合并策略时实现了低写放大和高性能读取——在读写工作负载中均优于现有最先进系统。

ABSTRACT

LSM-tree based key-value (KV) stores organize data in a multi-level structure for high-speed writes. Range queries on traditional LSM-trees must seek and sort-merge data from multiple table files on the fly, which is expensive and often leads to mediocre read performance. To improve range query efficiency on LSM-trees, we introduce a space-efficient KV index data structure, named REMIX, that records a globally sorted view of KV data spanning multiple table files. A range query on multiple REMIX-indexed data files can quickly locate the target key using a binary search, and retrieve subsequent keys in sorted order without key comparisons. We build RemixDB, an LSM-tree based KV-store that adopts a write-efficient compaction strategy and employs REMIXes for fast point and range queries. Experimental results show that REMIXes can substantially improve range query performance in a write-optimized LSM-tree based KV-store.

研究动机与目标

• 解决基于 LSM-tree 的键值存储在使用写优化合并策略（如分层合并）时范围查询性能差的问题。
• 通过维护跨多个表文件的持久、全局有序的 KV 数据视图，消除范围查询期间昂贵的实时排序-合并操作。
• 在不牺牲写入效率的前提下实现高读取效率，突破 LSM-tree 中读写性能之间的传统权衡。
• 设计一种紧凑的索引结构，支持快速点查询和范围查询，同时将 I/O 和计算开销降至最低。

提出的方法

• 提出 REMIX，一种紧凑、持久的多表索引，可在跨越多个 LSM-tree 表文件的 KV 数据上维护全局有序视图。
• 在 REMIX 上使用二分查找快速定位范围查询的起始键，从而消除对合并迭代器的需求。
• 直接从 REMIX 索引中按有序顺序检索后续键，无需键比较或额外 I/O 操作。
• 将 REMIX 与写入高效的分层合并策略集成，以在保持快速读取性能的同时最小化写放大。
• 构建 RemixDB，一个完整的基于 LSM-tree 的键值存储系统，使用 REMIX 实现快速点查询和范围查询，并通过分层合并实现低写入成本。
• 利用现代存储性能（如 SSD、3D XPoint）的优势，其中随机 I/O 和顺序 I/O 的性能几乎等价，从而减少对物理数据排序的需求。

实验结果

研究问题

• RQ1 能否设计一种紧凑、持久的索引结构，在不产生高写放大代价的前提下，实现 LSM-tree 中的快速范围查询？
• RQ2 在多个表文件间维护 KV 数据的全局有序视图，是否能减少范围查询期间的表访问次数和键比较次数？
• RQ3 在基于分层合并的 LSM-tree 中，REMIX 是否能同时实现低写放大和高性能读取？
• RQ4 与现有过滤技术（如 Bloom 过滤器、SuRF、Rosetta）相比，REMIX 在范围查询的 CPU、内存和 I/O 开销方面表现如何？
• RQ5 在混合读写模式的真实工作负载中，REMIX 的性能提升程度如何？

主要发现

• REMIX 通过支持跨多个重叠表文件的二分查找和顺序检索，且无需键比较，显著提升了范围查询性能。
• 与现有最先进基于 LSM-tree 的键值存储相比，RemixDB 在读写操作中均表现出优越性能，尤其在混合工作负载下表现更佳。
• 使用 REMIX 使 RemixDB 能够通过分层合并保持低写放大，同时仍实现快速的范围查询性能。
• 与基于过滤的方法不同，REMIX 在各种查询选择性或键分布条件下均能提供一致的性能提升。
• REMIX 的性能增益在大范围查询以及表文件间重叠度高的工作负载中最为显著，此时过滤技术无法有效减少 I/O。
• 实验结果证实，REMIX 减少了范围查询期间的表访问次数和 I/O 操作，从而带来更快的响应时间与更低的 CPU 使用率。