[论文解读] Performance-Aware Management of Cloud Resources: A Taxonomy and Future Directions

Sara Kardani Moghaddam, Rajkumar Buyya+1 more|arXiv (Cornell University)|Aug 7, 2018

Software System Performance and Reliability参考文献 65被引用 9

一句话总结

本文提出了一种全面的性能感知云资源管理分类法及未来研究方向，整合了数据分析（异常检测、工作负载预测）与动态资源调节（自动扩展）。它识别出实时监控、自适应配置以及应用特定检测精度方面的关键挑战，强调需要端到端、数据驱动且自适应的系统，以在动态云环境中维持服务等级协议（SLA）。

ABSTRACT

Dynamic nature of the cloud environment has made distributed resource management process a challenge for cloud service providers. The importance of maintaining the quality of service in accordance with customer expectations as well as the highly dynamic nature of cloud-hosted applications add new levels of complexity to the process. Advances to the big data learning approaches have shifted conventional static capacity planning solutions to complex performance-aware resource management methods. It is shown that the process of decision making for resource adjustment is closely related to the behaviour of the system including the utilization of resources and application components. Therefore, a continuous monitoring of system attributes and performance metrics provide the raw data for the analysis of problems affecting the performance of the application. Data analytic methods such as statistical and machine learning approaches offer the required concepts, models and tools to dig into the data, find general rules, patterns and characteristics that define the functionality of the system. Obtained knowledge form the data analysis process helps to find out about the changes in the workloads, faulty components or problems that can cause system performance to degrade. A timely reaction to performance degradations can avoid violations of the service level agreements by performing proper corrective actions including auto-scaling or other resource adjustment solutions. In this paper, we investigate the main requirements and limitations in cloud resource management including a study of the approaches in workload and anomaly analysis in the context of the performance management in the cloud. A taxonomy of the works on this problem is presented which identifies the main approaches in existing researches from data analysis side to resource adjustment techniques.

研究动机与目标

• 应对管理动态云工作负载日益增长的复杂性，同时维持服务等级协议（SLA）合规性。
• 识别在动态、异构云工作负载下，现有静态和基于启发式资源管理方法的局限性。
• 将数据分析（异常检测、工作负载预测）与自动化资源调节（自动扩展）相结合，实现整体性能管理。
• 突出在实时敏感性、自适应配置以及应用特定检测精度权衡方面的研究空白。
• 提供一个涵盖数据收集、数据分析与资源调节的结构化分类法，以指导未来研究。

提出的方法

• 提出一个多维分类法，根据架构、数据粒度、性能问题类型和资源管理动作对方法进行分类。
• 调查工作负载分析、异常检测和自动扩展领域的现有研究，重点关注数据分析与资源管理之间的集成。
• 分析数据驱动决策流程：监控 → 数据收集 → 分析（统计与机器学习）→ 纠正措施。
• 强调大数据分析在从系统指标中发现模式、趋势和性能退化指标方面的作用。
• 提出需要动态阈值调优以及学习模型的自动化配置，以适应不断变化的云工作负载。
• 倡导集成异常原因推断并引入反馈回路，以提升资源管理中规划与动作选择的效率。

实验结果

研究问题

• RQ1 如何有效整合数据分析技术与自动化资源管理，以提升云性能和SLA遵守度？
• RQ2 在真实云环境中应用时，当前异常检测与工作负载预测方法的关键局限性是什么？
• RQ3 动态配置与自适应阈值调整如何提升机器学习模型在云监控中的性能？
• RQ4 在实时、应用感知的异常检测与原因推断方面，关键的研究空白是什么？
• RQ5 在不平衡的云性能数据中，AUC与PRAUC等检测精度指标如何比较，哪种更适合生产环境使用？

主要发现

• 现有方法通常将数据分析与资源管理视为独立模块，缺乏端到端集成。
• 传统静态配置的异常检测与扩展算法无法适应云工作负载的动态特性。
• 异常原因推断仍停留在粗粒度且与规划模块脱节，限制了纠正措施的有效性。
• 正常与异常数据实例之间的不平衡会偏向标准评估指标（如AUC），使得PRAUC在真实云应用中更具相关性。
• 由于分布式组件之间存在复杂交互，自动扩展系统的现实性能评估必须依赖真实环境中的部署。
• 未来研究必须优先考虑应用特定的检测精度权衡，特别是针对高成本恢复操作（如磁盘故障缓解）的场景。