[论文解读] uPredict: A User-Level Profiler-Based Predictive Framework for Single VM Applications in Multi-Tenant Clouds

Hamidreza Moradi, Wei Wang+2 more|arXiv (Cornell University)|Aug 13, 2019

Cloud Computing and Resource Management参考文献 56被引用 7

一句话总结

uPredict 是一种用于多租户云环境中单虚拟机（VM）应用程序的用户级性能预测框架，通过使用自定义微基准测试实时分析 CPU、内存和磁盘争用情况。结合现场性能分析与回归及神经网络模型，该框架在私有云上的预测误差为 9.8%–17%，在公共云上低于 4%，并通过智能负载均衡实现 19% 的执行时间减少。

ABSTRACT

Most existing studies on performance prediction for virtual machines (VMs) in multi-tenant clouds are at system level and generally require access to performance counters in Hypervisors. In this work, we propose uPredict, a user-level profiler-based performance predictive framework for single-VM applications in multi-tenant clouds. Here, three micro-benchmarks are specially devised to assess the contention of CPUs, memory and disks in a VM, respectively. Based on measured performance of an application and micro-benchmarks, the application and VM-specific predictive models can be derived by exploiting various regression and neural network based techniques. These models can then be used to predict the application's performance using the in-situ profiled resource contention with the micro-benchmarks. We evaluated uPredict extensively with representative benchmarks from PARSEC, NAS Parallel Benchmarks and CloudSuite, on both a private cloud and two public clouds. The results show that the average prediction errors are between 9.8% to 17% for various predictive models on the private cloud with high resource contention, while the errors are within 4% on public clouds. A smart load-balancing scheme powered by uPredict is presented and can effectively reduce the execution and turnaround times of the considered application by 19% and 10%, respectively.

研究动机与目标

• 为解决多租户云环境中因用户无法访问虚拟机监控器（hypervisor）级指标而导致的性能不可预测性挑战。
• 使普通云用户即使在不了解共驻工作负载且系统可见性有限的情况下，也能预测应用程序性能。
• 开发一种实用的、无需访问虚拟机监控器或事先了解共驻 VM 信息的用户级预测框架。
• 在真实云环境（包括私有云和公共云）中评估该框架的准确性与实用性。
• 展示该框架在通过预测性负载均衡提升应用程序调度效率方面的有效性。

提出的方法

• 设计并部署三个与应用程序无关的微基准测试，用于在运行时探测目标 VM 中的 CPU、内存和磁盘争用情况。
• 在重复、顺序执行过程中，同时收集微基准测试和目标应用程序的性能数据，以捕捉动态争用现象。
• 基于收集到的性能分析数据，使用回归（如二阶多项式）和神经网络技术训练与应用程序及 VM 相关的预测模型。
• 优化神经网络超参数，以在控制训练开销的前提下提高预测准确性。
• 将预测模型集成到智能负载均衡机制中，选择预测争用最小的 VM。
• 在 AWS 和 GCE 等公共云基础设施以及私有云环境中，针对 PARSEC、NAS 和 CloudSuite 等多样化基准测试评估该框架。

实验结果

研究问题

• RQ1 在无虚拟机监控器访问权限的情况下，用户级微基准测试能否准确捕捉 VM 中的资源争用情况？
• RQ2 基于对 CPU、内存和磁盘争用的现场性能分析，回归与神经网络模型在预测应用程序性能方面的准确性如何？
• RQ3 uPredict 的预测准确性在不同云环境（具有不同争用水平）下如何变化？
• RQ4 基于 uPredict 的预测性负载均衡是否能优于传统的基于队列或启发式负载均衡策略，从而更有效地减少执行时间和完成时间？
• RQ5 性能分析开销与模型训练成本对实时性能预测实用性有何影响？

主要发现

• 在高资源争用的私有云环境中，uPredict 在不同预测模型下的平均预测误差介于 9.8% 至 17% 之间。
• 经过超参数优化的神经网络模型相比基于回归的模型，将预测误差降低了约 9%，尽管训练开销更高。
• 在公共云环境中，由于争用水平较低且更稳定，平均预测误差始终低于 4%。
• 基于 uPredict 的负载均衡方案相比基于队列的负载均衡策略，将平均执行时间减少了 19%，完成时间减少了 10%。
• 该框架能够有效捕捉由动态且未知的共驻工作负载引起性能波动，从而为单 VM 应用实现准确的现场性能预测。
• 微基准测试在系统级争用分析方面表现有效，但未来工作需将其扩展至缓存和网络争用的检测。