[论文解读] Software Effort Estimation using parameter tuned Models

Akanksha Baghel, Meemansa Rathod+1 more|arXiv (Cornell University)|Aug 25, 2020

Software Engineering Research参考文献 17被引用 5

一句话总结

本文提出了一种参数调优的回归建模方法，通过评估九种回归技术并进行超参数优化，以提高软件工作量估算的准确性。研究结果表明，经过调优的XGBoost在各类软件项目中显著降低了估算误差，实现了最高的预测精度。

ABSTRACT

Software estimation is one of the most important activities in the software project. The software effort estimation is required in the early stages of software life cycle. Project Failure is the major problem undergoing nowadays as seen by software project managers. The imprecision of the estimation is the reason for this problem. Assize of software size grows, it also makes a system complex, thus difficult to accurately predict the cost of software development process. The greatest pitfall of the software industry was the fast-changing nature of software development which has made it difficult to develop parametric models that yield high accuracy for software development in all domains. We need the development of useful models that accurately predict the cost of developing a software product. This study presents the novel analysis of various regression models with hyperparameter tuning to get the effective model. Nine different regression techniques are considered for model development

研究动机与目标

• 解决因工作量估算不准确导致的软件项目高失败率问题。
• 开发一种稳健的、与领域无关的模型，以在不同规模和复杂度的软件项目中提升预测准确性。
• 评估并比较九种经过超参数调优的回归模型在软件工作量估算中的表现。
• 识别在早期软件开发阶段最小化估算误差的最优模型配置。
• 为软件项目管理中的成本预测提供一种实用的、数据驱动的框架。

提出的方法

• 评估了九种回归模型——线性回归、岭回归、Lasso回归、弹性网络、决策树、随机森林、梯度提升、XGBoost和LightGBM，用于工作量估算。
• 采用网格搜索与交叉验证相结合的方法进行超参数调优，以优化模型性能。
• 对数据集进行了预处理，包括特征归一化和异常值处理，以确保模型输入的一致性。
• 采用标准评估指标衡量模型性能：平均绝对误差（MAE）、均方误差（MSE）和决定系数（R²）。
• 基于交叉验证多折测试中MAE最低且R²最高的模型选择最优模型。
• 在未见数据上对最终模型进行验证，以评估其泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 在超参数调优后，哪种回归模型在软件工作量估算中表现出最高精度？
• RQ2 超参数调优如何影响不同回归模型在工作量估算中的性能表现？
• RQ3 是否存在一种模型能够良好地泛化于不同规模和领域的软件项目？
• RQ4 在工作量估算任务中，树模型与线性模型的相对表现如何？
• RQ5 标准回归指标（MAE、MSE、R²）与现实世界中的估算准确性之间是否存在相关性？

主要发现

• 经过优化的XGBoost模型在测试集上实现了最低的平均绝对误差（MAE）12.3%，优于所有其他模型。
• 调优后的XGBoost模型取得了0.91的决定系数（R²）值，表明其对工作量变化具有较强的解释能力。
• 树模型，尤其是XGBoost和LightGBM，在MAE和R²指标上显著优于岭回归和Lasso回归等线性模型。
• 超参数调优提升了所有模型的性能，其中梯度提升类算法的性能提升最为显著。
• 研究证实，模型精度对超参数配置高度敏感，尤其对XGBoost等复杂模型而言更为明显。
• 最终模型展现出良好的泛化能力，在未见数据上保持了较低的误差，表明其在实际项目规划中具有良好的应用潜力。