[论文解读] Phoenix Cloud: Consolidating Different Computing Loads on Shared Cluster System for Large Organization

Jianfeng Zhan, Lei Wang+5 more|arXiv (Cornell University)|Jun 7, 2009

Cloud Computing and Resource Management参考文献 8被引用 12

一句话总结

Phoenix Cloud 提出了一种分层云管理架构，通过协作式资源分配策略，将异构的 HPC 和 Web 服务工作负载整合到共享集群上，将基础设施规模最多减少 23%，同时提升科学计算吞吐量，并确保动态 Web 工作负载获得足够的资源。

ABSTRACT

Different departments of a large organization often run dedicated cluster systems for different computing loads, like HPC (high performance computing) jobs or Web service applications. In this paper, we have designed and implemented a cloud management system software Phoenix Cloud to consolidate heterogeneous workloads from different departments affiliated to the same organization on the shared cluster system. We have also proposed cooperative resource provisioning and management policies for a large organization and its affiliated departments, running HPC jobs and Web service applications, to share the consolidated cluster system. The experiments show that in comparison with the case that each department operates its dedicated cluster system, Phoenix Cloud significantly decreases the scale of the required cluster system for a large organization, improves the benefit of the scientific computing department, and at the same time provisions enough resources to the other department running Web services with varying loads.

研究动机与目标

• 解决大型组织中为 HPC 和 Web 服务分别维护独立集群所导致的效率低下和管理成本过高的问题。
• 通过在统一基础设施上整合异构工作负载，减少所需集群的总体规模。
• 在确保为具有高度可变性的 Web 服务工作负载提供足够资源的同时，提升 HPC 作业的资源利用率。
• 设计一种云管理架构，实现部门间协作式资源共享，同时不损害服务质量。
• 设计一种分层架构，支持在统一平台上同时运行科学计算和 Web 服务工作负载。

提出的方法

• 实施三层架构：共享基础设施与通用服务框架、部门专用的云管理服务（HPC 和 Web）、以及客户端工具。
• 使用通用服务框架将资源管理与应用特定逻辑解耦，实现模块化和可扩展的系统设计。
• 在 HPC 调度器中应用首次适应（First-Fit）调度策略，根据作业提交模式高效分配资源。
• 使用真实世界追踪数据模拟 Web 服务的动态资源需求，由资源模拟器驱动资源的分配与释放。
• 通过加速 100 倍，使两周的工作负载在三小时内完成，同时保持对实际资源消耗的高保真度。
• 对比静态（专用集群）与动态（整合）配置，评估不同集群规模下的性能与资源利用率。

实验结果

研究问题

• RQ1 共享集群基础设施能否有效整合具有不同资源需求和利用率模式的 HPC 与 Web 服务工作负载？
• RQ2 部门间协作式资源分配如何影响整体系统效率与资源利用率？
• RQ3 在整合工作负载时，维持或提升 HPC 作业完成率所需的最小集群规模是多少？
• RQ4 在高峰负载期间，资源共享在不降低 Web 服务可用性的前提下，能在多大程度上减少总体基础设施规模？
• RQ5 与静态专用集群配置相比，动态整合配置下作业周转时间与完成率如何变化？

主要发现

• 与专用集群配置相比，Phoenix Cloud 将所需集群规模最多减少 23%，其中 160 个节点的动态配置达到了静态配置规模的 76.9%。
• 即使在 160 个节点的集群规模下，完成的 HPC 作业数量仍高于静态配置，表明资源利用率与吞吐量得到提升。
• 在动态配置下，每个 HPC 作业的平均周转时间仍低于静态配置，表明系统响应能力更强。
• 随着集群规模减小，被终止的 HPC 作业数量增加，仅在 170 个节点时出现一个微小异常，表明资源分配稳定性存在阈值效应。
• 由于基于真实世界追踪数据进行模拟，Web 服务工作负载保持了稳定的性能与资源分配，确保在可变负载下的可靠性。
• 系统成功平衡了竞争性工作负载，在提升科学计算效益的同时，确保了动态 Web 服务所需的足够资源。