[论文解读] Why Software Effort Estimation Needs SBSE

Tianpei Xia, Jianfeng Chen+3 more|arXiv (Cornell University)|Apr 2, 2018

Software Engineering Research参考文献 48被引用 3

一句话总结

本文提出 OIL，一种轻量级 CPU 的 SBSE 框架，利用差分进化算法自动配置软件项目的工作量估算模型。在 945 个项目上测试，OIL 仅用 40–160 次评估便优于广泛使用的 ABE0 和 ATLM 方法，在标准笔记本电脑上中位运行时间不足六分钟，显著降低了估算误差。

ABSTRACT

Industrial practitioners now face a bewildering array of possible configurations for effort estimation. How to select the best one for a particular dataset? This paper introduces OIL (short for optimized learning), a novel configuration tool for effort estimation based on differential evolution. When tested on 945 software projects, OIL significantly improved effort estimations, after exploring just a few configurations (just a few dozen). Further OIL's results are far better than two methods in widespread use: estimation-via-analogy and a recent state-of-the-art baseline published at TOSEM'15 by Whigham et al. Given that the computational cost of this approach is so low, and the observed improvements are so large, we conclude that SBSE should be a standard component of software effort estimation.

研究动机与目标

• 在成千上万种可能配置中，解决为给定数据集选择最佳工作量估算方法的挑战。
• 通过开发一种轻量级 CPU 的方法，减少 SBSE 在工作量估算中的计算负担，避免传统进化算法带来的高评估成本。
• 证明通过 SBSE 自动配置可显著提高估算精度，优于广泛使用的基线方法如 ATLM 和 ABE0。
• 证明即使在计算资源有限和小数据集的情况下，SBSE 在工作量估算中仍具实际可行性和必要性。
• 探究是否存在下限效应或固有数据限制制约工作量估算模型的性能，以及 SBSE 在此类条件下是否仍能带来显著提升。

提出的方法

• OIL 采用差分进化（DE）作为搜索算法，用于探索基于类比的工作量估算（ABE）方法的配置空间。
• 通过 10 折交叉验证评估候选配置，以估计模型在未见数据上的性能。
• OIL 系统性地探索数千种 ABE 参数组合（如相似性度量、归一化方法、异常值处理方式），以识别最优配置。
• 搜索过程由 DE 的变异、交叉和选择机制引导，采用 Storn 等人提出的默认参数设置，以确保稳定性和效率。
• 该框架设计为低计算成本：在 945 个项目上，中位运行时间仅为六分钟（在标准 8GB、3GHz 台式机上）。
• OIL 实现为可重用的 Python pip 包，以促进研究界和实践社区的采用与可扩展性。

实验结果

研究问题

• RQ1 RQ1：工作量估算能否忽略 SBSE？如果仅少数方法在所有数据集中始终表现最佳，是否可以避免调优？
• RQ2 RQ2：SBSE 是否过于计算昂贵，难以在实际中应用，特别是对开发人员和业务用户而言？
• RQ3 RQ3：SBSE 是否能产生优于广泛使用的 ABE0 和 ATLM 等方法的工作量估算结果？
• RQ4 RQ4：工作量估算是否存在下限效应，导致无论方法复杂度如何，性能提升均受限制？
• RQ5 RQ5：增加评估次数（例如从 40 次增加到 160 次）是否能带来更好的估算性能？

主要发现

• 在 945 个软件项目中，OIL 显著优于 ABE0 和 ATLM，估算误差在统计上和实质上均更低。
• OIL 在所有项目上进行 10 折交叉验证的中位运行时间仅为六分钟（在标准 8GB、3GHz 台式机上）。
• 仅需 40 次候选配置评估即可达到最优或近似最优性能，表明 SBSE 即使在低端硬件上也具有计算可行性。
• 将评估次数从 40 次增加到 160 次并未带来进一步改进，表明搜索空间可通过极少计算量高效探索。
• 表现最佳的估算方法在不同数据集中差异显著，表明不存在普遍最优的方法——因此需要通过 SBSE 实现自动化配置。
• 观察到存在下限效应：部分数据集信号有限，随机搜索者的表现甚至接近 DE，表明某些数据分布存在固有的性能上限。