[论文解读] Predicting Performance of Software Configurations: There is no Silver Bullet

Alexander Grebhahn, Norbert Siegmund+1 more|arXiv (Cornell University)|Nov 28, 2019

Software System Performance and Reliability被引用 7

一句话总结

本研究评估了机器学习技术与采样策略在六种实际软件系统中预测软件配置性能的影响。研究发现，学习算法与采样方法均显著影响预测准确性，其中随机森林与结构化采样优于其他方法，但并无单一组合在所有情况下均表现最优——这验证了性能预测中的“无免费午餐”定理。

ABSTRACT

Many software systems offer configuration options to tailor their functionality and non-functional properties (e.g., performance). Often, users are interested in the (performance-)optimal configuration, but struggle to find it, due to missing information on influences of individual configuration options and their interactions. In the past, various supervised machine-learning techniques have been used to predict the performance of all configurations and to identify the optimal one. In the literature, there is a large number of machine-learning techniques and sampling strategies to select from. It is unclear, though, to what extent they affect prediction accuracy. We have conducted a comparative study regarding the mean prediction accuracy when predicting the performance of all configurations considering 6 machine-learning techniques, 18 sampling strategies, and 6 subject software systems. We found that both the learning technique and the sampling strategy have a strong influence on prediction accuracy. We further observed that some learning techniques (e.g., random forests) outperform other learning techniques (e.g., k-nearest neighbor) in most cases. Moreover, as the prediction accuracy strongly depends on the subject system, there is no combination of a learning technique and sampling strategy that is optimal in all cases, considering the tradeoff between accuracy and measurement overhead, which is in line with the famous no-free-lunch theorem.

研究动机与目标

• 调查不同机器学习技术与采样策略对可配置软件系统性能建模中预测准确性的影响。
• 确定某些学习算法或采样策略是否在多种软件系统中始终优于其他方法。
• 评估经验性能建模中预测准确性与测量开销之间的权衡。
• 评估配置空间结构（二值选项与数值选项）对预测准确性的影响。

提出的方法

• 本研究采用对比性实证评估方法，基于来自不同领域的六个真实可配置软件系统。
• 评估了六种机器学习技术：k近邻（kNN）、核岭回归（KRR）、支持向量回归（SVR）、分类与回归树（CART）、多元回归（MR）以及随机森林（RF）。
• 应用了十八种采样策略，包括随机采样以及结构化策略如Plackett-Burmann设计与T-wise测试，适用于二值与数值配置选项。
• 对于每个系统，使用部分测量的配置生成所有配置的性能预测，并采用平均绝对误差（MAE）作为准确性度量。
• 评估涵盖所有配置的平均预测误差，比较学习技术与采样策略对准确性的影响。
• 通过改变测量配置数量进行实验，以评估可扩展性及对样本大小的敏感性。

实验结果

研究问题

• RQ1 在不同可配置软件系统中，哪种机器学习技术能产生最准确的性能预测？
• RQ2 不同采样策略（如随机采样与结构化采样）如何影响性能预测的准确性？
• RQ3 学习技术的性能是否依赖于目标软件系统的特性？
• RQ4 测量配置数量在多大程度上影响预测准确性？该影响如何随采样策略而变化？
• RQ5 是否存在一种学习技术与采样策略的组合，能在所有系统与配置类型中持续优于其他组合？

主要发现

• 随机森林（RF）与分类与回归树（CART）在大多数系统中始终优于其他学习技术，显著降低了平均绝对误差。
• 结构化采样策略（如Plackett-Burmann与T-wise采样）的预测准确性优于随机采样，尤其在小样本量下表现更优。
• 不同学习技术在各系统中的表现差异显著，无单一算法在所有配置或系统中均为最优。
• 对于二值配置选项，结构化采样显著提升了准确性；而对于数值选项，准确性更多取决于样本大小而非采样方法。
• 随着测量配置数量的增加，不同采样策略之间的预测准确性差异减小，表明样本增大后收益递减。
• 在所有系统中均无单一学习技术与采样策略组合表现最优，证实了性能预测中的“无免费午餐”定理。