[论文解读] Workload Classification & Software Energy Measurement for Efficient Scheduling on Private Cloud Platforms

James W. Smith, Ian Sommerville|arXiv (Cornell University)|May 12, 2011

Cloud Computing and Resource Management参考文献 10被引用 18

一句话总结

本文提出 CloudMonitor，一种纯软件工具，通过在训练阶段将工作负载资源使用情况（CPU、内存、磁盘、网络）与能耗相关联，实现对服务器功耗的预测，准确率超过95%。该工具可在无需硬件功耗计的情况下，实现私有云环境中的节能型虚拟机调度，其动态回归模型基于来自电源分配单元（PDU）的真实功耗数据进行训练。

ABSTRACT

At present there are a number of barriers to creating an energy efficient workload scheduler for a Private Cloud based data center. Firstly, the relationship between different workloads and power consumption must be investigated. Secondly, current hardware-based solutions to providing energy usage statistics are unsuitable in warehouse scale data centers where low cost and scalability are desirable properties. In this paper we discuss the effect of different workloads on server power consumption in a Private Cloud platform. We display a noticeable difference in energy consumption when servers are given tasks that dominate various resources (CPU, Memory, Hard Disk and Network). We then use this insight to develop CloudMonitor, a software utility that is capable of >95% accurate power predictions from monitoring resource consumption of workloads, after a "training phase" in which a dynamic power model is developed.

研究动机与目标

• 解决私有云数据中心中可扩展、低成本的能耗监控缺失问题。
• 探究不同类型工作负载与服务器功耗之间的关系。
• 开发一种基于软件的功耗预测解决方案，避免依赖昂贵的硬件功耗计。
• 通过基于资源密集度的工作负载分类并预测其能耗影响，实现节能型工作负载调度。

提出的方法

• 使用来自电源分配单元（PDU）的真实功耗测量数据和同步的资源使用快照，训练动态功耗模型。
• 从基于 Eucalyptus 的私有云中的虚拟机收集每3秒一次的资源利用率样本（CPU、内存、磁盘、网络）。
• 在训练阶段使用回归分析，将资源消耗模式与实际功耗进行关联。
• 开发一种名为 CloudMonitor 的软件工具，基于实时资源监控预测功耗。
• 通过可编辑的 XML 元数据，将工作负载配置文件（CPU、内存、磁盘、网络密集型）集成到虚拟机实例化请求中。
• 重写 Eucalyptus 调度器，使其根据预测的能耗影响和资源兼容性分配虚拟机。

实验结果

研究问题

• RQ1 在私有云环境中，不同类型的工作负载（CPU、内存、磁盘、网络密集型）如何影响服务器功耗？
• RQ2 基于软件的功耗预测是否能达到足够高的准确率，以支持无需硬件功耗计的节能型调度？
• RQ3 虚拟化服务器中，资源利用率模式与实际能耗之间存在何种关系？
• RQ4 动态回归模型在基于软件监控的资源使用情况预测功耗方面效果如何？
• RQ5 通过工作负载分类与配置文件分析，能否改善调度决策以降低整体系统能耗？

主要发现

• 不同类型的工作负载表现出显著不同的功耗模式，CPU、内存、磁盘和网络密集型任务各自具有独特的能效特征。
• CloudMonitor 在训练阶段使用资源与功耗数据的回归模型后，功耗预测准确率超过95%。
• 功耗预测模型的标准误差控制在5%以内，该精度水平足以满足调度需求。
• StACC 私有云中的工作负载通常集中于单一资源类型，因此可基于主导资源使用情况实现精确的功耗配置文件分析。
• 将资源密集型虚拟机与互补型工作负载（如 CPU 与磁盘密集型）配对，可提升性能与能效。
• 系统通过基于初始工作负载配置文件的离线静态调度策略，避免了虚拟机迁移带来的性能开销。