[论文解读] QoS-Based Pricing and Scheduling of Batch Jobs in OpenStack Clouds

Thomas Sandholm, Julie Ward+2 more|arXiv (Cornell University)|Apr 27, 2015

Cloud Computing and Resource Management参考文献 15被引用 6

一句话总结

本文提出了一种基于服务质量（QoS）的定价与调度机制，用于OpenStack云环境中的批处理作业，用户支付费用以获得保证的作业完成时间，而非按节点小时计费。通过将QoS级别建模为完成时间层级，并使用收益优化定价函数，与固定按节点计价相比，该系统在低竞争环境下可将提供商收入提高最多40%，同时提升资源利用率和用户效用。

ABSTRACT

The current Cloud infrastructure services (IaaS) market employs a resource-based selling model: customers rent nodes from the provider and pay per-node per-unit-time. This selling model places the burden upon customers to predict their job resource requirements and durations. Inaccurate prediction by customers can result in over-provisioning of resources, or under-provisioning and poor job performance. Thanks to improved resource virtualization and multi-tenant performance isolation, as well as common frameworks for batch jobs, such as MapReduce, Cloud providers can predict job completion times more accurately. We offer a new definition of QoS-levels in terms of job completion times and we present a new QoS-based selling mechanism for batch jobs in a multi-tenant OpenStack cluster. Our experiments show that the QoS-based solution yields up to 40% improvement over the revenue of more standard selling mechanisms based on a fixed per-node price across various demand and supply conditions in a 240-VCPU OpenStack cluster.

研究动机与目标

• 解决传统按节点小时计价在云批处理作业调度中的局限性，即用户难以预测资源需求和作业完成时间。
• 通过从基于资源的定价转向基于结果的定价（以作业完成时间保证为基础），减少过度配置和配置不足。
• 使云提供商能够根据作业的紧急程度进行价格歧视，从而提高收入和社会福利。
• 通过基于预测完成时间和可用容量的动态作业准入机制，提升资源利用率和系统效率。
• 将基于QoS的定价与OpenStack Sahara集成，以实现真实环境下的部署与评估。

提出的方法

• 以保证的作业完成时间定义QoS级别，多个层级对应不同的时间窗口。
• 设计一种收益优化定价函数，根据完成时间层级和当前集群负载设定价格。
• 将作业完成时间预测集成到调度流水线中，以估算可行性与定价。
• 实现一种动态准入控制机制，仅在节点资源不足时拒绝作业。
• 采用固定按节点小时计价的基准（Bench）和收益优化定价模型（RevOp）进行对比评估。
• 在240-VCPU的OpenStack集群中，针对不同的作业到达间隔和节点容量进行系统评估。

实验结果

研究问题

• RQ1 基于QoS的定价模型是否能在提供商收入方面优于传统的按节点小时计价？
• RQ2 在不同负载条件下，该机制对系统利用率、用户净效用和作业成功率有何影响？
• RQ3 在低竞争场景下，该定价模型在多大程度上提升了社会福利和资源利用率？
• RQ4 在高竞争环境下，系统如何处理干扰和未完成的截止时间？定价能否对此类风险进行补偿？
• RQ5 在OpenStack Sahara中集成完成时间预测与动态定价，是否能够实现可扩展的、真实世界中基于QoS的批处理作业调度部署？

主要发现

• 所提出的基于QoS的定价机制在所有测试配置下，与固定按节点计价相比，可将提供商收入提高最多40%。
• 在低竞争环境下，系统利用率可达65%（基准为32%），表明资源利用率显著提升。
• 准入率从71%提升至84%，表明在新模型下有更多作业被成功调度。
• 合同成功率保持在95%（基线为99%），在高竞争下仅下降5-15%，表明对干扰具有鲁棒性。
• 尽管未显式优化用户满意度，但用户净效用总和最高提升20%，表明社会福利得到改善。
• 在高竞争环境下系统性能下降，表明未来定价模型需纳入未来需求和失败风险的考量。