[论文解读] PhoenixCloud: Provisioning Resources for Heterogeneous Workloads in Cloud Computing

Jianfeng Zhan, Lei Wang+3 more|arXiv (Cornell University)|Jun 8, 2010

Cloud Computing and Resource Management参考文献 34被引用 3

一句话总结

PhoenixCloud 提出了一套协调式资源供应系统，用于异构工作负载——特别是并行批处理作业和 Web 服务——在私有云和公共云环境中的资源管理。通过基于自适应策略的动态资源分配，该系统在私有云中将集群配置规模减少了 40%，在公共云中相比 EC2+RightScale 将峰值资源消耗降低了高达 31%。

ABSTRACT

As more and more service providers choose Cloud platforms, which is provided by third party resource providers, resource providers needs to provision resources for heterogeneous workloads in different Cloud scenarios. Taking into account the dramatic differences of heterogeneous workloads, can we coordinately provision resources for heterogeneous workloads in Cloud computing? In this paper we focus on this important issue, which is investigated by few previous work. Our contributions are threefold: (1) we respectively propose a coordinated resource provisioning solution for heterogeneous workloads in two typical Cloud scenarios: first, a large organization operates a private Cloud for two heterogeneous workloads; second, a large organization or two service providers running heterogeneous workloads revert to a public Cloud; (2) we build an agile system PhoenixCloud that enables a resource provider to create coordinated runtime environments on demand for heterogeneous workloads when they are consolidated on a Cloud site; and (3) A comprehensive evaluation has been performed in experiments. For two typical heterogeneous workload traces: parallel batch jobs and Web services, our experiments show that: a) in a private Cloud scenario, when the throughput is almost same like that of a dedicated cluster system, our solution decreases the configuration size of a cluster by about 40%; b) in a public Cloud scenario, our solution decreases not only the total resource consumption, but also the peak resource consumption maximally to 31% with respect to that of EC2 +RightScale solution.

研究动机与目标

• 解决在不同云部署模式下，为异构工作负载（如批处理作业和 Web 服务）高效供应资源的挑战。
• 克服传统运行时环境仅支持同构工作负载（如 OpenPBS 或 Oceano）的局限性。
• 设计一种系统，支持按需创建协调式运行时环境，以提高资源利用率和服务质量。
• 为私有云（专用基础设施）和公共云（外包基础设施）提供统一解决方案，同时保持性能下降最小化。
• 通过自适应资源分配策略实现高资源效率，同时维持可接受的作业周转时间。

提出的方法

• 提出一种协调式资源供应框架，根据工作负载特征和需求模式动态分配资源。
• 引入基于策略的系统，包含参数 B（基线）、U（利用率）、V（脆弱性）和 G（释放弹性）以调节资源分配行为。
• 实现 PhoenixCloud 系统，按需创建和管理协调式运行时环境，支持异构工作负载之间的资源共享池。
• 使用来自 NASA iPSC、SDSC BLUE 和 WorldCup 的工作负载 trace 模拟真实场景，并在不同配置下评估性能。
• 应用两种关键策略：FB（固定基线）和 FLB-NUB（固定与低基线，非均匀边界），以平衡资源消耗与作业周转时间。
• 与现有云基础设施（如 EC2）集成，并与 EC2+RightScale 进行性能对比，以验证效率提升。

实验结果

研究问题

• RQ1 在私有云场景中，协调式资源供应能否显著降低异构工作负载的资源消耗和配置规模？
• RQ2 在公共云中，PhoenixCloud 的动态资源分配与 EC2+RightScale 相比，在峰值和总资源使用量方面表现如何？
• RQ3 在共享云环境中整合批处理作业和 Web 服务时，资源效率与作业周转时间之间存在何种权衡？
• RQ4 可配置参数（B、U、V、G）对异构工作负载整合场景下的系统性能和资源利用率有何影响？
• RQ5 协调式运行时环境在不降低多样化工作负载服务质量的前提下，能在多大程度上提升资源利用率？

主要发现

• 在私有云场景中，PhoenixCloud 相较于专用集群系统，将集群配置规模减少了约 40%，同时保持了相近的吞吐量。
• 在公共云部署中，PhoenixCloud 相较于 EC2+RightScale 基线，将峰值资源消耗和总资源消耗最高降低了 31%。
• FLB-NUB 策略实现了良好的权衡，显著降低了总资源使用量和峰值资源使用量，同时平均周转时间仅比 EC2+RightScale 略有增加。
• 参数 G（资源释放弹性）对平均周转时间有显著影响；取值为 0.5 时，在响应速度和资源节省之间达到了良好平衡。
• 当参数 U 和 V 分别设置在 1.0–2.0 和 0.1–0.5 范围内时，对关键指标影响甚微，表明系统对中等程度的配置变化具有鲁棒性。
• 管理开销随租赁时间单位缩短而增加，因此在 PhoenixCloud 和 EC2 中选择 60 分钟作为最优租赁时间单位。