[论文解读] Serifos: Workload Consolidation and Load Balancing for SSD Based Cloud Storage Systems

Zhihao Yao, Ioannis Papapanagiotou+1 more|arXiv (Cornell University)|Dec 20, 2015

Advanced Data Storage Technologies参考文献 12被引用 4

一句话总结

Serifos 是一种用于基于 SSD 的云存储的自主工作负载整合与负载均衡系统，通过硬件感知的性能建模来预测并最小化 I/O 延迟。通过利用基于写入比例和块大小的线性回归模型，Serifos 将平均延迟方差降低 82%，并将最大写入延迟下的 SLO 支持能力提升高达 63%。

ABSTRACT

Achieving high performance in virtualized data centers requires both deploying high throughput storage clusters, i.e. based on Solid State Disks (SSDs), as well as optimally consolidating the workloads across storage nodes. Nowadays, the only practical solution for cloud storage providers to offer guaranteed performance is to grossly over-provision the storage nodes. The current workload scheduling mechanisms used in production do not have the intelligence to optimally allocate block storage volumes based on the performance of SSDs. In this paper, we introduce Serifos, an autonomous performance modeling and load balancing system designed for SSD-based cloud storage. Serifos takes into account the characteristics of the SSD storage units and constructs hardware dependent workload consolidation models. Thus Serifos is able to predict the latency caused by workload interference and the average latency of concurrent workloads. Furthermore, Serifos leverages an I/O load balancing algorithm to dynamically balance the volumes across the cluster. Experimental results indicate that Serifos consolidation model is able to maintain the mean prediction error of around 10% for heterogeneous hardware. As a result of Serifos load balancing, we found that the variance and the maximum average latency are reduced by 82% and 52%, respectively. The supported Service Level Objectives (SLOs) on the testbed improve 43% on average latency, 32% on the maximum read and 63% on the maximum write latency.

研究动机与目标

• 解决基于 SSD 的云存储中缺乏性能感知的工作负载调度问题，当前系统如 OpenStack Cinder 仅考虑可用容量。
• 克服由工作负载干扰以及 SSD 特有的行为（如垃圾回收和写入放大）引起性能下降的问题。
• 实现对并发工作负载下聚合延迟的准确预测，以支持动态、性能驱动的负载均衡。
• 通过降低平均延迟、第 99 百分位延迟和最大延迟，提升服务等级目标（SLO）的合规性，适用于异构 SSD 硬件环境。
• 设计一种可扩展的自主系统，动态平衡 I/O 工作负载，防止热点问题，并在多租户环境中确保一致的性能。

提出的方法

• 使用线性回归构建与硬件相关的负载整合模型，以写入比例和块大小作为关键输入特征。
• 在异构 SSD 硬件上训练六个不同的整合模型，以预测并发工作负载下的主机级平均延迟。
• 集成 I/O 负载均衡引擎，利用预测结果指导存储卷在主机间的动态迁移。
• 动态重新分配工作负载以平衡 I/O 负载，最小化系统范围内的延迟方差和最大延迟。
• 将性能预测作为决策依据，确保迁移带来的收益超过成本，避免性能下降。
• 在配备多样化工作负载和硬件类型的实体 SSD 测试平台上评估系统，以验证模型准确性和负载均衡的有效性。

实验结果

研究问题

• RQ1 基于硬件感知的工作负载整合模型能否在共享 SSD 存储主机上准确预测聚合 I/O 延迟？
• RQ2 动态负载均衡在异构 SSD 集群中减少延迟方差和最大延迟方面的效果如何？
• RQ3 与默认调度机制相比，Serifos 能在多大程度上提升支持的服务等级目标（SLO）？
• RQ4 工作负载干扰对性能有何影响？是否可通过智能整合与迁移加以缓解？
• RQ5 在基于 SSD 的存储系统中，迁移成本与性能提升之间存在何种权衡？

主要发现

• Serifos 在异构 SSD 硬件上的工作负载整合中实现了约 10% 的平均预测误差。
• I/O 负载均衡组件相比 OpenStack Cinder 的默认调度器，将系统范围内的平均延迟方差降低了 82%。
• 应用负载均衡后，最大平均延迟从 12.39ms 降低至 5.95ms，降幅达 52%。
• 系统在平均延迟方面将支持的 SLO 提升了 43%，在最大读取延迟方面提升了 32%，在最大写入延迟方面提升了 63%。
• 读取和写入延迟的第 99 百分位数分别降低了 71% 和 84%，表明尾部延迟性能显著改善。
• 负载均衡器成功消除了过载和欠载的存储主机，使所有节点的性能更加稳定和可预测。