[论文解读] PrismDB: Read-aware Log-structured Merge Trees for Heterogeneous Storage.

Ashwini Raina, Asaf Cidon+2 more|arXiv (Cornell University)|Aug 5, 2020

Advanced Data Storage Technologies参考文献 14被引用 4

一句话总结

PrismDB 是一种读取感知的日志结构合并树键值存储，通过将热数据对象固定在更快的存储层级上，动态地在异构存储层级（如 3D XPoint 和 QLC NAND）之间分层数据。在同等硬件条件下，其平均吞吐量比 RocksDB 高 2.3 倍，尾部延迟降低 10 倍以上，同时成本降低 50%。

ABSTRACT

In recent years, emerging hardware storage technologies have focused on divergent goals: better performance or lower cost-per-bit of storage. Correspondingly, data systems that employ these new technologies are optimized either to be fast (but expensive) or cheap (but slow). We take a different approach: by combining multiple tiers of fast and low-cost storage technologies within the same system, we can achieve a Pareto-efficient balance between performance and cost-per-bit. This paper presents the design and implementation of PrismDB, a novel log-structured merge tree based key-value store that exploits a full spectrum of heterogeneous storage technologies (from 3D XPoint to QLC NAND). We introduce the notion of read-awareness to log-structured merge trees, which allows hot objects to be pinned to faster storage, achieving better tiering and hot-cold separation of objects. Compared to the standard use of RocksDB on flash in datacenters today, PrismDB's average throughput on heterogeneous storage is 2.3$ imes$ faster and its tail latency is more than an order of magnitude better, using hardware than is half the cost.

研究动机与目标

• 为应对存储硬件目标日益增长的分歧：高性能与低每比特成本。
• 设计一种键值存储系统，高效整合快速与低成本存储技术于单一系统中。
• 通过引入读取感知机制，改进日志结构合并树中的数据分层与冷热数据分离。
• 在数据中心部署中，实现优于现有系统（如 RocksDB）的性能与成本效率。

提出的方法

• 在 LSM 树中引入读取感知机制，以识别并将其频繁访问的（热）对象固定在更快的存储层级上。
• 基于访问模式实施动态分层，利用实时读取频率指导数据放置。
• 在一个存储层内支持从高性能 3D XPoint 到低成本 QLC NAND 的完整存储技术谱系。
• 采用混合存储架构，通过利用访问局部性，自动平衡性能与成本。
• 设计一种新型 LSM 树变体，跟踪读取访问频率，并基于热对象检测触发分层决策。
• 通过智能保留热对象，最小化跨层级数据移动，从而优化写入放大和读取延迟。

实验结果

研究问题

• RQ1 键值存储如何高效利用从快速到低成本存储的异构存储技术？
• RQ2 何种机制可实现在不牺牲写入性能的前提下，有效实现 LSM 树中的冷热数据分离？
• RQ3 与传统分层策略相比，LSM 树中的读取感知是否能显著提升性能并降低尾部延迟？
• RQ4 在使用混合层级存储的存储系统中，性能可提升多少，同时降低硬件成本？
• RQ5 在真实工作负载中，读取感知分层与传统 LSM 树设计相比表现如何？

主要发现

• 当在异构存储上部署且每比特成本减半时，PrismDB 的平均吞吐量比 RocksDB 高 2.3 倍。
• 在相同硬件条件下，PrismDB 的尾部延迟比 RocksDB 降低 10 倍以上。
• 通过结合使用 QLC NAND 和 3D XPoint，PrismDB 在保持卓越性能的同时，成本相比 RocksDB 降低了 50%。
• 读取感知机制实现了有效的热对象固定，提升了缓存效率并减少了跨层级数据移动。
• PrismDB 中快速与低成本存储的结合，实现了性能与成本之间的帕累托最优权衡。
• 在多种访问模式下，PrismDB 在吞吐量和延迟方面均优于 RocksDB，展现出强大的可扩展性与效率。