[论文解读] Negative Results for Software Effort Estimation

Tim Menzies, Ye Yang+3 more|arXiv (Cornell University)|Sep 18, 2016

Software Engineering Research参考文献 53被引用 9

一句话总结

本文使用四个COCOMO风格的数据集，将现代软件工作量估算方法与经典的COCOMO 2000参数化模型进行对比评估。尽管数十年来不断创新，研究发现COCOMO 2000在性能上始终优于谱聚类、实例选择和CART等新技术，结论是数据质量和结构的重要性超过算法复杂度，对工作量估算具有决定性影响。

ABSTRACT

Context:More than half the literature on software effort estimation (SEE) focuses on comparisons of new estimation methods. Surprisingly, there are no studies comparing state of the art latest methods with decades-old approaches. Objective:To check if new SEE methods generated better estimates than older methods. Method: Firstly, collect effort estimation methods ranging from "classical" COCOMO (parametric estimation over a pre-determined set of attributes) to "modern" (reasoning via analogy using spectral-based clustering plus instance and feature selection, and a recent "baseline method" proposed in ACM Transactions on Software Engineering).Secondly, catalog the list of objections that lead to the development of post-COCOMO estimation methods.Thirdly, characterize each of those objections as a comparison between newer and older estimation methods.Fourthly, using four COCOMO-style data sets (from 1991, 2000, 2005, 2010) and run those comparisons experiments.Fifthly, compare the performance of the different estimators using a Scott-Knott procedure using (i) the A12 effect size to rule out "small" differences and (ii) a 99% confident bootstrap procedure to check for statistically different groupings of treatments). Results: The major negative results of this paper are that for the COCOMO data sets, nothing we studied did any better than Boehm's original procedure. Conclusions: When COCOMO-style attributes are available, we strongly recommend (i) using that data and (ii) use COCOMO to generate predictions. We say this since the experiments of this paper show that, at least for effort estimation,how data is collected is more important than what learner is applied to that data.

研究动机与目标

• 评估现代软件工作量估算方法是否优于经典的COCOMO 2000参数化模型。
• 识别并分析推动后COCOMO估算方法发展的各类异议。
• 评估新方法是否在标准化数据集上对原始COCOMO-II框架有所改进。
• 确定数据收集格式（COCOMO本体）对预测准确率的影响是否大于学习算法的选择。
• 倡导在拥有COCOMO风格数据时，将COCOMO 2000作为可靠基线使用。

提出的方法

• 收集并评估了一系列估算方法，从经典COCOMO（参数化）到现代技术如谱聚类、实例选择、特征选择和CART。
• 整理了推动新估算方法发展的异议，将其框架化为新旧方法之间的对比。
• 在四个COCOMO风格数据集（1991、2000、2005、2010）上开展受控实验，比较各方法的性能。
• 应用Scott-Knott检验以检测不同方法间性能的统计显著差异。
• 使用A12效应量筛选出微小差异，确保仅考虑具有实际意义的性能差距。
• 采用99%置信度的自助重采样程序验证方法性能分组，确保结果稳健性。

实验结果

研究问题

• RQ1 RQ1：参数化估算是否并不优于仅使用代码行数（LOC）进行工作量估算？
• RQ2 RQ2：工作量估算领域的创新是否已超越参数化估算方法（如COCOMO 2000）？
• RQ3 RQ3：较早的参数化调优方法（如COCOMO 2000中的方法）是否仍与新模型相比保持有效性和实用性？
• RQ4 RQ4：能否通过剪枝属性、行和列来简化参数化估算，而不牺牲准确性？

主要发现

• 在所有四个COCOMO风格数据集中，COCOMO 2000参数化模型的性能均与或优于所有测试的新一代估算技术。
• 研究发现，使用现代非参数或集成方法相较于COCOMO 2000，在预测准确率上无统计显著提升。
• A12效应量分析确认，COCOMO 2000与新方法之间的差异在实际意义上并不显著。
• 即使在应用特征选择、实例选择和聚类技术后，仍无任何方法在相同数据上超越COCOMO 2000。
• 结果表明，数据收集格式（COCOMO本体）对预测质量的影响强于学习算法的选择。
• 作者结论：当具备COCOMO风格属性时，COCOMO 2000仍是有效、可靠且推荐使用的基线估算方法。