[论文解读] Performance Modeling of Metric-Based Serverless Computing Platforms

Nima Mahmoudi, Hamzeh Khazaei|arXiv (Cornell University)|Feb 23, 2022

Cloud Computing and Resource Management被引用 5

一句话总结

本文提出了一种针对基于指标的无服务器平台（如 Knative 和 Google Cloud Run）的分析性能模型，通过泊松请求到达模型和数据驱动的服务时间建模，预测在不同并发度和请求速率下的响应时间和成本。该模型仅需极少的数据采集即可实现高精度，已在私有云环境中的 Knative 部署上通过真实实验得到验证。

ABSTRACT

Analytical performance models are very effective in ensuring the quality of service and cost of service deployment remain desirable under different conditions and workloads. While various analytical performance models have been proposed for previous paradigms in cloud computing, serverless computing lacks such models that can provide developers with performance guarantees. Besides, most serverless computing platforms still require developers' input to specify the configuration for their deployment that could affect both the performance and cost of their deployment, without providing them with any direct and immediate feedback. In previous studies, we built such performance models for steady-state and transient analysis of scale-per-request serverless computing platforms (e.g., AWS Lambda, Azure Functions, Google Cloud Functions) that could give developers immediate feedback about the quality of service and cost of their deployments. In this work, we aim to develop analytical performance models for the latest trend in serverless computing platforms that use concurrency value and the rate of requests per second for autoscaling decisions. Examples of such serverless computing platforms are Knative and Google Cloud Run (a managed Knative service by Google). The proposed performance model can help developers and providers predict the performance and cost of deployments with different configurations which could help them tune the configuration toward the best outcome. We validate the applicability and accuracy of the proposed performance model by extensive real-world experimentation on Knative and show that our performance model is able to accurately predict the steady-state characteristics of a given workload with minimal amount of data collection.

研究动机与目标

• 解决基于指标的无服务器平台缺乏分析性能模型的问题，这些平台使用并发度和请求速率进行自动扩缩容。
• 为开发人员和平台提供商提供不同工作负载配置下性能和成本的预测性反馈。
• 实现无服务器部署中服务质量、成本和资源利用率的优化。
• 通过在私有云环境中对 Knative 进行真实世界实验，验证模型的准确性。

提出的方法

• 将请求到达建模为泊松过程，以表示具有大量低概率客户端的面向客户的工作负载。
• 采用数据驱动技术捕捉与工作负载相关的服务时间分布，而无需假设固定分布。
• 将基于并发度的自动扩缩容行为整合进随机性能模型，以预测稳态指标。
• 仅使用最少的运行时数据采集来训练服务时间与资源使用量的回归模型。
• 将模型应用于预测关键服务质量指标（例如平均响应时间）和成本（例如平均实例数量）。
• 通过在不同编程语言和资源压力下使用受控工作负载，在真实世界的 Knative 部署中验证预测结果。

实验结果

研究问题

• RQ1 在基于指标的无服务器平台（如 Knative 和 Google Cloud Run）中，分析性能模型在多大程度上能准确预测稳态响应时间和成本？
• RQ2 为实现可靠性能预测并保持最小开销，需要多大规模的数据采集？
• RQ3 不同工作负载特征（例如 CPU、内存密集型）和配置参数（例如并发度限制）如何影响性能和成本预测？
• RQ4 该模型在多大程度上可支持开发人员调整配置以实现最优的性能-成本权衡？
• RQ5 在不同工作负载下以及由于非平稳行为导致的模型漂移情况下，该模型的鲁棒性如何？

主要发现

• 所提出的性能模型能够以极少的数据采集，准确预测 Knative 上工作负载的稳态特性。
• 该模型在多种工作负载和配置下，对平均响应时间和平均实例数量的预测均表现出高精度。
• 该模型能够有效识别实现期望性能和成本结果的最优配置设置。
• 该模型具有良好的可扩展性，支持大规模系统中的高度并行化。
• 该模型的预测在不同编程语言和资源密集型工作负载下均表现稳健，表明其具有广泛的适用性。
• 本研究识别出关键威胁，如非平稳工作负载和外部 API 的波动性，建议通过重新训练作为缓解策略。