[论文解读] The MDS Queue

Nihar B. Shah, Kangwook Lee+1 more|arXiv (Cornell University)|Nov 23, 2012

Advanced Data Storage Technologies被引用 4

一句话总结

本文引入MDS队列模型，以分析热数据（频繁访问）的纠删码数据存储系统的延迟性能。通过应用排队论，提出调度策略，严格约束平均延迟，证明MDS码可在活跃数据工作负载中高效平衡存储成本与低延迟访问。

ABSTRACT

In order to scale economically, data centers are increasingly evolving their data storage methods from the use of simple data replication to the use of more powerful erasure codes, which provide the same level of reliability as replication but at a significantly lower storage cost. In particular, it is well known that Maximum-Distance-Separable (MDS) codes, such as Reed-Solomon codes, provide the maximum storage efficiency. While the use of codes for providing improved reliability in archival storage systems, where the data is less frequently accessed (or so-called cold data), is well understood, the role of codes in the storage of more frequently accessed and active hot data, where latency is the key metric, is less clear. In this paper, we study data storage systems based on codes through the lens of queueing theory, and term this the MDS queue. We analytically characterize the (average) latency performance of queues, for which we present insightful scheduling policies that form upper and lower bounds to performance, and are observed to be quite tight. Extensive simulations are also provided and used to validate our theoretical analysis. We also employ the framework of the queue to analyse different methods of performing so-called degraded reads (reading of partial data) in distributed data storage.

研究动机与目标

• 理解纠删码（特别是Reed-Solomon等MDS码）在延迟至关重要的活跃（热）数据存储中的作用。
• 使用排队论对编码存储系统的延迟行为进行建模与分析，提出MDS队列的概念。
• 设计调度策略，作为编码存储系统中平均延迟性能的紧致上下界。
• 评估在分布式存储中，部分数据读取（退化读取）对系统延迟的影响，基于MDS队列框架。

提出的方法

• 将使用MDS码的数据存储系统建模为一个排队系统，其中数据请求排队，并在特定调度策略下被服务。
• 应用分析排队论推导平均延迟的上下界，结合理论分析与仿真验证。
• 提出在MDS编码约束下优化性能的调度策略，形成延迟的紧致上下界。
• 将退化读取概念整合进排队模型，以评估其对响应时间与系统效率的影响。
• 通过大量仿真验证理论延迟边界，并在不同工作负载与码参数下评估性能。
• 通过在相同排队框架下比较编码系统与传统复制方案，分析存储效率与延迟之间的权衡。

实验结果

研究问题

• RQ1 与复制相比，MDS码在活跃数据存储系统中对平均延迟有何影响？
• RQ2 可设计何种调度策略，以在保持理论性能边界的同时最小化MDS编码存储系统的延迟？
• RQ3 退化读取（仅读取编码数据的部分）如何影响编码存储队列的整体延迟与性能？
• RQ4 理论延迟边界在多大程度上能紧密逼近模拟编码存储系统中的实际性能？
• RQ5 在热数据工作负载中使用MDS码时，存储效率与延迟之间存在何种权衡？

主要发现

• 所提出的调度策略形成了平均延迟的紧致上下界，展现出理论与实证结果的高度一致性。
• MDS编码存储系统可在显著降低存储成本的同时，实现与复制相当的低延迟性能。
• 在某些场景下，退化读取可通过允许部分数据检索来降低延迟，但其有效性取决于系统负载与码参数。
• 理论分析与仿真结果表明，MDS队列模型能准确预测多种工作负载下的系统行为。
• 该框架表明，当结合最优调度时，MDS码在热数据存储中具有可行性，挑战了“复制是实现低延迟所必需”的假设。
• 所推导的性能边界被观察到极为紧密，表明理论模型与实际系统行为高度吻合。