[论文解读] SE3M: A Model for Software Effort Estimation Using Pre-trained Embedding Models.

Eliane Maria De Bortoli Fávero, Dalcimar Casanova+1 more|arXiv (Cornell University)|Jun 30, 2020

Software Engineering Research参考文献 68被引用 9

一句话总结

本文提出 SE3M，一种利用微调过的预训练嵌入表示（特别是 BERT）直接从需求文本进行工作量预测的软件工作量估算模型。通过使用上下文感知的嵌入表示与深度学习架构，SE3M 在单个项目评估中实现了 4.25 的低平均绝对误差（MAE）和 0.17 的标准差，表现出高度的可靠性与较低的计算成本。

ABSTRACT

Estimating effort based on requirement texts presents many challenges, especially in obtaining viable features to infer effort. Aiming to explore a more effective technique for representing textual requirements to infer effort estimates by analogy, this paper proposes to evaluate the effectiveness of pre-trained embeddings models. For this, two embeddings approach, context-less and contextualized models are used. Generic pre-trained models for both approaches went through a fine-tuning process. The generated models were used as input in the applied deep learning architecture, with linear output. The results were very promising, realizing that pre-trained incorporation models can be used to estimate software effort based only on requirements texts. We highlight the results obtained to apply the pre-trained BERT model with fine-tuning in a single project repository, whose value is the Mean Absolute Error (MAE) is 4.25 and the standard deviation of only 0.17, which represents a result very positive when compared to similar works. The main advantages of the proposed estimation method are reliability, the possibility of generalization, speed, and low computational cost provided by the fine-tuning process, and the possibility to infer new or existing requirements.

研究动机与目标

• 解决从需求文本中提取有效特征以进行软件工作量估算的挑战。
• 评估上下文无关与上下文感知的预训练嵌入模型在工作量估算中的有效性。
• 通过利用微调过的预训练模型，提升估算的可靠性与泛化能力。
• 通过迁移学习降低计算成本并提高估算速度。
• 通过统一的基于嵌入的方法，实现对新需求与已有需求的估算。

提出的方法

• 将上下文无关与上下文感知的预训练嵌入模型用作从需求文本中提取特征的工具。
• 在项目特定的需求数据上对通用预训练模型（如 BERT）进行微调，以适应特定表示。
• 将生成的嵌入输入到具有线性输出层的深度学习架构中，用于工作量预测。
• 使用单个项目的数据仓库进行微调与评估，以衡量模型性能。
• 应用迁移学习，在保持准确率的同时减少训练时间与计算资源消耗。
• 以平均绝对误差（MAE）为主要评估指标对模型进行优化。

实验结果

研究问题

• RQ1 预训练嵌入模型能否有效表示需求文本以用于软件工作量估算？
• RQ2 与非微调基线相比，微调预训练模型在多大程度上提升了工作量估算的准确性？
• RQ3 在工作量估算任务中，上下文感知嵌入（如 BERT）与上下文无关嵌入的性能表现如何？
• RQ4 所提出的模型在单个项目内不同需求之间的泛化能力如何？
• RQ5 与现有工作量估算技术相比，该模型的计算效率与可靠性如何？

主要发现

• 当在单个项目数据仓库上使用微调过的 BERT 时，SE3M 模型实现了 4.25 的平均绝对误差（MAE）。
• MAE 的标准差仅为 0.17，表明预测结果具有高度的一致性与可靠性。
• 微调过的 BERT 表现优于其他嵌入方法，证明了上下文感知表示的有效性。
• 由于高效的微调过程，该模型实现了低计算成本与高速度。
• 该方法通过统一的嵌入框架，实现了对新需求与已有需求的精确估算。
• 与类似工作在基于需求的估算研究中相比，本研究结果代表了较强的性能基准。