[论文解读] Report from GI-Dagstuhl Seminar 16394: Software Performance Engineering in the DevOps World

André van Hoorn, Pooyan Jamshidi+2 more|arXiv (Cornell University)|Sep 26, 2017

Software System Performance and Reliability参考文献 7被引用 6

一句话总结

本文提出了一种通过自动化性能测试、预热分析和工作负载采样将性能工程集成到DevOps中的框架，以减少测试执行开销。通过基于代码变更和相关行为优先排序测试，该方法能够及时反馈性能回归问题，在高吞吐量环境中显著缩短测试时间。

ABSTRACT

This report documents the program and the outcomes of GI-Dagstuhl Seminar 16394 "Software Performance Engineering in the DevOps World". The seminar addressed the problem of performance-aware DevOps. Both, DevOps and performance engineering have been growing trends over the past one to two years, in no small part due to the rise in importance of identifying performance anomalies in the operations (Ops) of cloud and big data systems and feeding these back to the development (Dev). However, so far, the research community has treated software engineering, performance engineering, and cloud computing mostly as individual research areas. We aimed to identify cross-community collaboration, and to set the path for long-lasting collaborations towards performance-aware DevOps. The main goal of the seminar was to bring together young researchers (PhD students in a later stage of their PhD, as well as PostDocs or Junior Professors) in the areas of (i) software engineering, (ii) performance engineering, and (iii) cloud computing and big data to present their current research projects, to exchange experience and expertise, to discuss research challenges, and to develop ideas for future collaborations.

研究动机与目标

• 解决在频繁发布导致传统性能测试不可行的高吞吐量DevOps流水线中集成性能测试的挑战。
• 通过自动化预热期确定和识别最小代表性工作负载，减少性能测试的运维开销。
• 通过基于代码变更、测试效用和相关性分组来调度性能测试，为开发人员提供及时反馈。
• 利用运维数据指导性能测试和回归分析，弥合开发与运维之间的差距。
• 促进软件工程、性能工程和云计算研究人员之间的跨学科协作，推动性能感知DevOps的发展。

提出的方法

• 提出一种增强的DevOps流水线，通过大规模测试仓库和自动化分析性能测试结果，实现持续性能改进。
• 使用基于JMeter的负载测试脚本并结合自动化分析，检测应用更新过程中的性能回归。
• 引入基于时间序列测试指标中模式识别的自动化预热分析，以确定最优预热和测量时长。
• 应用统计分析，识别能捕捉关键性能回归的现实世界工作负载的代表性子集，而无需完整执行测试。
• 基于代码变更影响、测试效用和相关测试组成员身份进行测试优先级排序，以减少冗余测试运行。
• 集成高可用性系统的生存能力建模，使性能测试与系统可用性和故障恢复目标保持一致。

实验结果

研究问题

• RQ1 如何在不产生过度执行开销的前提下，将性能测试自动化并集成到高吞吐量的DevOps流水线中？
• RQ2 基于运行时指标，哪些技术可以自动确定性能测试的最优预热和测量周期？
• RQ3 哪些现实世界工作负载的代表性子集能够在最小化测试执行时间的同时有效检测显著的性能回归？
• RQ4 如何通过代码变更、测试效用和相关性模式来指导测试优先级排序，以最大化回归检测效率？
• RQ5 软件工程、性能工程和云计算研究者之间的跨社区协作在推动性能感知DevOps发展方面发挥什么作用？

主要发现

• 基于时间序列指标模式的自动化预热分析可显著减少确定稳定测试条件所需的时间，从而最小化人工干预和变异性。
• 识别能捕获100%或以上性能回归的代表性工作负载子集，可在不牺牲检测能力的前提下减少测试执行时间。
• 基于代码变更和相关性分组的性能测试优先级排序可减少冗余测试运行，并加快DevOps流水线中的反馈周期。
• 将性能测试与高可用性系统建模相结合，可改善故障恢复时间评估并增强系统生存能力。
• 软件工程、性能工程和云计算研究人员之间的跨学科协作对于应对性能感知DevOps的系统性挑战至关重要。
• 所提出的方法可减少由多个维度（代码、配置、硬件、执行次数）引发的测试时间爆炸问题，实现可扩展且及时的性能反馈。