[论文解读] When SIMPLE is better than complex: A case study on deep learning for predicting Bugzilla issue close time.

Rahul Yedida, Xueqi Yang+1 more|arXiv (Cornell University)|Jan 15, 2021

Software Engineering Research参考文献 46被引用 5

一句话总结

本文提出了一种通过超参数优化增强的简单、快速前馈神经网络（SIMPLE），用于预测Bugzilla问题的关闭时间。尽管模型结构简单，SIMPLE在性能上仍优于复杂的深度学习模型（如LSTM），其准确率更高，且推理速度比最先进的LSTMs快2,700倍——表明在软件工程预测任务中，对轻量级模型进行超参数调优，可超越复杂但缓慢的算法。

ABSTRACT

Is deep learning over-hyped? Where are the case studies that compare state-of-the-art deep learners with simpler options? In response to this gap in the literature, this paper offers one case study on using deep learning to predict issue close time in Bugzilla. We report here that a SIMPLE extension to a decades-old feedforward neural network works better than the more recent, and more elaborate, long-short term memory deep learning (which are currently popular in the SE literature). SIMPLE is a combination of a fast feedforward network and a hyper-parameter optimizer. SIMPLE runs in 3 seconds while the newer algorithms take 6 hours to terminate. Since it runs so fast, it is more amenable to being tuned by our optimizer. This paper reports results seen after running SIMPLE on issue close time data from 45,364 issues raised in Chromium, Eclipse, and Firefox projects from January 2010 to March 2016. In our experiments, this SIMPLEr tuning approach achieves significantly better predictors for issue close time than the more complex deep learner. These better and SIMPLEr results can be generated 2,700 times faster than if using a state-of-the-art deep learner. From this result, we make two conclusions. Firstly, for predicting issue close time, we would recommend SIMPLE over complex deep learners. Secondly, before analysts try very sophisticated (but very slow) algorithms, they might achieve better results, much sooner, by applying hyper-parameter optimization to simple (but very fast) algorithms.

研究动机与目标

• 为解决在软件工程预测任务中，深度学习模型与简单替代方案之间缺乏实证案例研究的问题。
• 探究对简单前馈神经网络进行超参数优化后，是否能在预测问题关闭时间方面超越复杂深度学习模型。
• 评估在真实软件项目数据中，模型复杂度、训练速度与预测性能之间的权衡。
• 挑战一种假设，即更复杂的深度学习模型在问题跟踪预测任务中天然优于其他模型。

提出的方法

• 选用简单前馈神经网络作为基础模型，因其速度快且计算开销低。
• 采用一种快速、自定义的优化器，对前馈网络进行超参数优化，以调整初始学习率、网络深度等关键参数。
• 在Chromium、Eclipse和Firefox项目（2010年1月至2016年3月）的45,364个问题数据集上进行训练与评估。
• 将优化后的SIMPLE模型性能与最先进的基于LSTM的深度学习模型进行对比。
• 测量并比较训练时间：SIMPLE仅用3秒完成训练，而LSTM模型耗时6小时才终止。
• 使用标准回归指标评估问题关闭时间的预测准确性。

实验结果

研究问题

• RQ1 经过超参数优化的简单前馈神经网络是否在预测Bugzilla中问题关闭时间方面优于复杂的深度学习模型？
• RQ2 在此情境下，简单模型的训练速度与复杂深度学习模型相比如何？
• RQ3 当经过充分调优后，快速轻量级模型是否能实现优于更复杂LSTM模型的预测性能？
• RQ4 在真实世界软件工程数据集中，简单模型经超参数调优后与复杂深度学习模型之间是否存在显著性能差距？

主要发现

• SIMPLE模型在预测问题关闭时间方面，显著优于更复杂的基于LSTM的深度学习模型。
• SIMPLE模型仅用3秒完成训练，而LSTM模型耗时6小时才终止，实现了2,700倍的加速。
• 对简单模型进行超参数优化所获得的结果，优于未经过调优的复杂模型。
• 本研究证明，当经过适当调优时，简单模型可在软件工程预测任务中超越复杂深度学习模型。
• 结果表明，研究人员和实践者在采用缓慢且复杂的深度学习架构之前，应优先考虑快速、简单的模型并辅以超参数优化。