[论文解读] Multi-Tier Buffer Management and Storage System Design for Non-Volatile Memory

Joy Arulraj, Andrew Pavlo+1 more|arXiv (Cornell University)|Jan 30, 2019

Advanced Data Storage Technologies参考文献 41被引用 18

一句话总结

本文提出了一种面向非易失性内存（NVM）的多级缓冲管理器与存储系统设计方法，可根据工作负载和设备特性动态调整DRAM、NVM和SSD之间的数据迁移策略。该方法引入了一种自适应数据迁移机制和一个推荐系统，可在事务型与分析型工作负载下提升吞吐量并降低系统成本，且无需人工调优。

ABSTRACT

The design of the buffer manager in database management systems (DBMSs) is influenced by the performance characteristics of volatile memory (DRAM) and non-volatile storage (e.g., SSD). The key design assumptions have been that the data must be migrated to DRAM for the DBMS to operate on it and that storage is orders of magnitude slower than DRAM. But the arrival of new non-volatile memory (NVM) technologies that are nearly as fast as DRAM invalidates these previous assumptions. This paper presents techniques for managing and designing a multi-tier storage hierarchy comprising of DRAM, NVM, and SSD. Our main technical contributions are a multi-tier buffer manager and a storage system designer that leverage the characteristics of NVM. We propose a set of optimizations for maximizing the utility of data migration between different devices in the storage hierarchy. We demonstrate that these optimizations have to be tailored based on device and workload characteristics. Given this, we present a technique for adapting these optimizations to achieve a near-optimal buffer management policy for an arbitrary workload and storage hierarchy without requiring any manual tuning. We finally present a recommendation system for designing a multi-tier storage hierarchy for a target workload and system cost budget. Our results show that the NVM-aware buffer manager and storage system designer improve throughput and reduce system cost across different transaction and analytical processing workloads.

研究动机与目标

• 解决传统缓冲管理器假设DRAM为数据处理所必需、且存储性能比DRAM慢几个数量级的局限性。
• 设计包含DRAM、NVM和SSD的多级存储层次结构，根据工作负载与设备特性优化性能与成本。
• 开发一种自适应数据迁移机制，可自动选择最优策略，无需针对任意工作负载与存储配置进行人工调优。
• 构建一个推荐系统，为特定工作负载在给定预算下设计高性价比的多级存储系统。

提出的方法

• 提出一种NVM感知数据迁移优化的分类体系，可泛化现有技术（如主动DRAM迁移与DRAM绕过）。
• 引入一种自适应数据迁移机制，根据工作负载与设备I/O特性实时调整缓冲管理策略。
• 采用反馈驱动的自适应引擎，通过监控访问模式、延迟与写入耐久性，选择最优迁移策略。
• 设计存储系统推荐器，将工作负载特征与成本约束映射到DRAM、NVM与SSD的最优硬件配置。
• 利用工作负载特定的性能分析，指导数据迁移策略的选择，如惰性与主动提升至DRAM的权衡。
• 结合性能建模与成本分析，推荐在吞吐量与系统成本之间取得平衡的存储层次结构。

实验结果

研究问题

• RQ1 如何在DRAM、NVM与SSD构成的多级存储层次中优化数据迁移策略，以最大化性能并最小化成本？
• RQ2 在存在NVM的情况下，决定最优缓冲管理策略的关键因素是什么？这些因素如何随工作负载与设备特性变化？
• RQ3 自动化自适应机制是否能在无需人工调优的情况下，实现接近最优的缓冲管理性能，适用于多样化的工作负载与存储配置？
• RQ4 如何为给定工作负载与预算，推荐最优的多级硬件配置？

主要发现

• NVM感知缓冲管理器通过智能管理DRAM、NVM与SSD之间的数据迁移，在事务型与分析型工作负载下均提升了系统吞吐量。
• 自适应数据迁移机制通过基于实时工作负载与设备特性的动态策略选择，实现了接近最优的性能，且无需人工调优。
• 存储系统推荐器成功识别出满足性能目标且成本效益高的硬件配置。
• 与传统缓冲管理方法相比，所提系统在保持或提升吞吐量的同时显著降低了系统成本。
• 结果表明，性能提升程度与工作负载相关，尤其在混合访问模式与高I/O波动的工作负载中观察到更显著的性能增益。