[论文解读] Performance-oriented DevOps: A Research Agenda

Andreas Brunnert, André van Hoorn+14 more|arXiv (Cornell University)|Aug 18, 2015

Software System Performance and Reliability参考文献 1被引用 38

一句话总结

本文提出了一项研究议程，旨在通过在整个软件生命周期中统一软件性能工程（SPE）与应用性能管理（APM），将性能工程整合到DevOps中。该议程倡导基于模型和测量的性能评估，通过PMIF和CIM等标准实现工具互操作性，并建立开发与运维之间的自动化反馈回路，以实现实时满足诸如响应时间与资源利用率等非功能需求。

ABSTRACT

DevOps is a trend towards a tighter integration between development (Dev) and operations (Ops) teams. The need for such an integration is driven by the requirement to continuously adapt enterprise applications (EAs) to changes in the business environment. As of today, DevOps concepts have been primarily introduced to ensure a constant flow of features and bug fixes into new releases from a functional perspective. In order to integrate a non-functional perspective into these DevOps concepts this report focuses on tools, activities, and processes to ensure one of the most important quality attributes of a software system, namely performance. Performance describes system properties concerning its timeliness and use of resources. Common metrics are response time, throughput, and resource utilization. Performance goals for EAs are typically defined by setting upper and/or lower bounds for these metrics and specific business transactions. In order to ensure that such performance goals can be met, several activities are required during development and operation of these systems as well as during the transition from Dev to Ops. Activities during development are typically summarized by the term Software Performance Engineering (SPE), whereas activities during operations are called Application Performance Management (APM). SPE and APM were historically tackled independently from each other, but the newly emerging DevOps concepts require and enable a tighter integration between both activity streams. This report presents existing solutions to support this integration as well as open research challenges in this area.

研究动机与目标

• 解决DevOps中开发阶段的性能工程与运维阶段的性能监控之间缺乏整合的问题。
• 通过在开发与运维之间建立双向反馈，克服软件性能工程（SPE）与应用性能管理（APM）之间长期存在的分离状态。
• 通过将性能目标与持续集成和部署等DevOps实践对齐，实现在整个软件生命周期中持续进行性能验证。
• 识别并解决工具互操作性、模型交换和自动化方面的关键挑战，以支持性能感知DevOps在工业界的采纳。
• 推动开发可复用、可扩展的性能优化框架，以支持多种架构模型和冲突的质量属性。

提出的方法

• 提出一种基于生命周期的方法，将开发阶段（SPE）和运维阶段（APM）的性能管理活动进行整合，包括基于测量和基于模型的评估。
• 引入标准化模型交换格式（如PMIF，性能模型交换格式）以实现不同工具间性能模型的互操作性。
• 倡导使用通用数据格式（如CIM度量模型、SMM、OSLC）在开发与运维团队之间交换性能度量。
• 推荐使用领域特定建模语言（如UML-SPT、PCM、LQN）和性能模型（如排队网络、负载强度模型）以实现早期性能预测。
• 通过运行时模型和持续性能监控，支持开发与运维之间的反馈回路，以指导架构决策和容量规划。
• 推广支持多种建模格式和质量属性评估（如响应时间、吞吐量）的性能分析工具插件架构。

实验结果

研究问题

• RQ1 如何有效将性能工程整合到DevOps中，以确保响应时间与资源利用率等非功能质量属性能够持续满足？
• RQ2 在DevOps生命周期中，对齐软件性能工程（SPE）与应用性能管理（APM）面临哪些关键技术与组织挑战？
• RQ3 如何在开发与运维工具之间实现模型与度量的互操作性，以支持无缝的性能反馈？
• RQ4 标准化建模格式（如PMIF、SMM）和性能监控规范（如OSLC）在实现性能感知DevOps的工具链集成中发挥什么作用？
• RQ5 如何将自动化、基于模型的性能预测与优化方法进行泛化与扩展，以支持复杂企业应用在工业界的广泛应用？

主要发现

• 现有的性能建模方法大多仍停留在学术研究阶段，缺乏工业界的采纳，表明亟需更广泛的验证与工具支持。
• 性能模型与度量之间的互操作性对于DevOps集成至关重要，但目前的PMIF和CIM等标准尚未在各厂商中广泛采用。
• 使用排队网络（QN）、分层排队网络（LQN）和PCM（Palladio组件模型）等形式化方法进行基于模型的性能评估，可实现早期性能预测与架构优化。
• 通过持续监控和模型更新支持的开发与运维之间的反馈回路，可显著提高性能可预测性与系统稳定性。
• 开发与运维活动之间缺乏紧密集成，仍是主要障碍，目前大多数实践仍将SPE与APM视为独立、孤立的流程。
• 目前仍缺乏通用的软件架构优化框架，特别是那些能够以插件可扩展方式处理多种建模格式和冲突质量属性的框架。