[论文解读] PhoenixCloud: Provisioning Resources for Heterogeneous Cloud Workloads

Jianfeng Zhan, Lei Wang+3 more|arXiv (Cornell University)|Mar 4, 2010

Cloud Computing and Resource Management参考文献 28被引用 6

一句话总结

PhoenixCloud 通过引入资源环境（RE）协议来表达多样化的运行时环境需求，并支持按需创建 RE，提出了一种针对异构云工作负载的新颖资源调度系统。它提出了两种协调的资源调度解决方案——一种用于私有云，另一种用于公有云复用——与 EC2 + RightScale 相比，展示了集群配置规模减少最多 40%，峰值资源消耗降低 31% 的效果。

ABSTRACT

As more and more service providers choose Cloud platforms, a resource provider needs to provision resources and supporting runtime environments (REs) for heterogeneous workloads in different scenarios. Previous work fails to resolve this issue in several ways: (1) it fails to pay attention to diverse RE requirements, and does not enable creating coordinated REs on demand; (2) few work investigates coordinated resource provisioning for heterogeneous workloads. In this paper, our contributions are three-fold: (1) we present an RE agreement that expresses diverse RE requirements, and build an innovative system PhoenixCloud that enables a resource provider to create REs on demand according to RE agreements; (2) we propose two coordinated resource provisioning solutions for heterogeneous workloads in two typical Cloud scenarios: first, a large organization operates a private Cloud for two heterogeneous workloads; second, a large organization or two service providers running heterogeneous workloads revert to a public Cloud; and (3) A comprehensive evaluation has been performed in experiments. For typical workload traces of parallel batch jobs and Web services, our experiments show that: a) In the first Cloud scenario, when the throughput is almost same like that of a dedicated cluster system, our solution decreases the configuration size of cluster by about 40%; b) in the second scenario, our solution decreases not only the total resource consumption, but also the peak resource consumption maximally to 31% with respect to that of EC2 + RightScale solution.

研究动机与目标

• 解决异构云工作负载缺乏协调式运行时环境（RE）调度的问题。
• 基于定义的 RE 协议，实现基于需求的多样化 RE 按需创建。
• 设计并评估在私有云和公有云场景下的协调式资源调度策略。
• 在保持高吞吐量的同时，降低资源消耗和配置开销。

提出的方法

• 提出一种 RE 协议模型，用于表达异构工作负载的多样化运行时环境需求。
• 设计 PhoenixCloud 系统，根据 RE 协议动态调度并配置 RE。
• 为私有云提出一种协调式调度解决方案，优化在两种异构工作负载之间的资源分配。
• 将该方案适配于公有云复用场景，支持组织或服务提供商之间的资源高效共享。
• 采用工作负载感知的调度与资源分配策略，以最小化总资源使用量和峰值资源消耗。
• 在受控实验条件下，使用真实世界并行批处理作业和 Web 服务的负载轨迹对系统进行评估。

实验结果

研究问题

• RQ1 如何有效表达和管理异构云工作负载的多样化运行时环境需求？
• RQ2 在包含异构工作负载的私有云部署中，哪些协调式调度策略可最小化资源消耗？
• RQ3 在涉及多个组织或服务提供商的公有云场景中，如何优化资源共享？
• RQ4 在不牺牲吞吐量的前提下，资源配置规模和峰值消耗最多可降低多少？
• RQ5 PhoenixCloud 与 EC2 + RightScale 等现有方案相比，在资源效率方面表现如何？

主要发现

• 在私有云场景中，PhoenixCloud 实现了与专用集群系统相近的吞吐量，同时将所需集群配置规模减少了约 40%。
• 在公有云复用场景中，PhoenixCloud 相较于 EC2 + RightScale 基线，总资源消耗和峰值资源消耗最高降低 31%。
• 系统在混合工作负载条件下仍能保持高吞吐量，表现出有效的负载均衡与资源协调能力。
• RE 协议模型成功捕获并强制执行了多样化的运行时环境需求，支持按需调度。
• 所提出的协调机制在资源利用率和效率方面显著优于基线方案。
• 实验评估证实，PhoenixCloud 在典型云工作负载轨迹下具备良好的可扩展性与鲁棒性。