[论文解读] Transfer Learning with Bellwethers to find Good Configurations

Vivek Nair, Rahul Krishna+2 more|arXiv (Cornell University)|Mar 11, 2018

Software Engineering Research参考文献 41被引用 6

一句话总结

本文提出 BEETLE，一种利用领头羊（bellwethers）——即能预测其他软件环境性能的代表性软件环境——的迁移学习方法，以最少的测量次数识别最优配置。通过选择高性能的领头羊源环境并应用简单的迁移学习，BEETLE 仅需约 1/7 的配置评估次数，即可实现最先进的性能表现。

ABSTRACT

As software systems grow in complexity, the space of possible configurations grows exponentially. Within this increasing complexity, developers, maintainers, and users cannot keep track of the interactions between all the various configuration options. Finding the optimally performing configuration of a software system for a given setting is challenging. Recent approaches address this challenge by learning performance models based on a sample set of configurations. However, collecting enough data on enough sample configurations can be very expensive since each such sample requires configuring, compiling and executing the entire system against a complex test suite. The central insight of this paper is that choosing a suitable source (a.k.a. "bellwether") to learn from, plus a simple transfer learning scheme will often outperform much more complex transfer learning methods. Using this insight, this paper proposes BEETLE, a novel bellwether based transfer learning scheme, which can identify a suitable source and use it to find near-optimal configurations of a software system. BEETLE significantly reduces the cost (in terms of the number of measurements of sample configuration) to build performance models. We evaluate our approach with 61 scenarios based on 5 software systems and demonstrate that BEETLE is beneficial in all cases. This approach offers a new highwater mark in configuring software systems. Specifically, BEETLE can find configurations that are as good or better as those found by anything else while requiring only 1/7th of the evaluations needed by the state-of-the-art.

研究动机与目标

• 解决可配置软件系统中性能模型构建成本高昂的问题，原因在于需要大量配置采样。
• 克服现有迁移学习方法无法选择合适源环境的局限，避免负迁移或性能不佳。
• 利用领头羊效应——即一个代表性环境能有效预测其他环境的性能——实现高效、高精度的配置优化。
• 开发一种快速、可扩展的方法，以最少的测量识别领头羊环境，减少对完整配置空间探索的需求。
• 证明：使用精心选择的领头羊源环境的简单迁移学习方案，优于复杂且与源无关的迁移学习方法。

提出的方法

• 使用一种新颖的快速算法识别领头羊环境，仅需评估约 10% 的配置空间，即可定位最具预测性的源环境。
• 应用一种简单的迁移学习方案：在领头羊环境中训练的性能模型，用于预测目标环境中的配置。
• 使用基于搜索的优化框架（如 NSGA-II 或类似方法）探索配置空间，其指导依据来自领头羊环境导出的性能模型。
• 以归一化平均绝对误差（NAR）作为主要指标，评估预测准确性和配置质量。
• 集成预算感知的搜索策略，支持可配置参数（如 lives、budget），以平衡探索与测量成本。
• 通过真实世界工作负载和基准套件，在多种软件系统上验证该方法，确保其实际适用性。

实验结果

研究问题

• RQ1 领头羊效应能否被有效利用，以在软件性能优化中识别高性能的源环境用于迁移学习？
• RQ2 需要多少次测量才能可靠地识别出领头羊环境？是否可实现极低的开销？
• RQ3 使用精心选择的领头羊源环境的简单迁移学习方案，是否优于复杂且与源无关的迁移学习方法？
• RQ4 与非迁移学习及当前最先进迁移学习方法相比，BEETLE 在保持或提升配置质量的前提下，能将所需配置评估次数减少多少？
• RQ5 在哪些场景下基于领头羊的方法会失效？哪些因素（如指标、系统差异、性能度量）会影响其有效性？

主要发现

• BEETLE 在 5 个可配置软件系统中的 61 种不同场景下成功识别出领头羊环境，证明了性能优化中领头羊效应的存在。
• 该方法仅需测量约 10% 的配置空间即可识别领头羊，显著降低了数据采集成本。
• BEETLE 在仅使用约 1/7 的评估次数（相当于配置空间的 13.5%）的情况下，实现了与当前最先进迁移学习方法相当或更优的性能。
• 在 5 个评估案例中的 4 个，基于领头羊的迁移学习方法在性能上匹配或超越了最佳非迁移学习和最先进迁移学习基线。
• 该方法在不同软件系统和工作负载下均表现出鲁棒性，即使系统版本或工作负载发生变化，仍能持续获得性能提升。
• BEETLE 的有效性对超参数（如预算和搜索次数）敏感，更高的值可提升 NAR（预测准确性），但最优性能可在最小设置下实现（如预算 = 10%，lives = 5）。