[论文解读] Optimizing Prediction Intervals by Tuning Random Forest via Meta-Validation

Sean Bayley, Davide Falessi|arXiv (Cornell University)|Jan 22, 2018

Software Engineering Research参考文献 47被引用 11

一句话总结

本文提出了一种元验证方法，用于调整随机森林超参数，以在软件缺陷和工作量估算中构建可靠且狭窄的预测区间。通过评估八种验证技术并引入三种元验证策略，研究发现75/25保留法始终优于其他方法，在可靠性、覆盖率和区间宽度方面均优于默认配置。

ABSTRACT

Recent studies have shown that tuning prediction models increases prediction accuracy and that Random Forest can be used to construct prediction intervals. However, to our best knowledge, no study has investigated the need to, and the manner in which one can, tune Random Forest for optimizing prediction intervals { this paper aims to fill this gap. We explore a tuning approach that combines an effectively exhaustive search with a validation technique on a single Random Forest parameter. This paper investigates which, out of eight validation techniques, are beneficial for tuning, i.e., which automatically choose a Random Forest configuration constructing prediction intervals that are reliable and with a smaller width than the default configuration. Additionally, we present and validate three meta-validation techniques to determine which are beneficial, i.e., those which automatically chose a beneficial validation technique. This study uses data from our industrial partner (Keymind Inc.) and the Tukutuku Research Project, related to post-release defect prediction and Web application effort estimation, respectively. Results from our study indicate that: i) the default configuration is frequently unreliable, ii) most of the validation techniques, including previously successfully adopted ones such as 50/50 holdout and bootstrap, are counterproductive in most of the cases, and iii) the 75/25 holdout meta-validation technique is always beneficial; i.e., it avoids the likely counterproductive effects of validation techniques.

研究动机与目标

• 探究调整随机森林超参数是否能提升预测区间的可靠性和宽度。
• 评估八种验证技术在预测区间构建背景下调整随机森林的效果。
• 开发并验证能够自动选择最佳调优策略的元验证技术。
• 评估数据集顺序和时间敏感性对不同验证技术性能的影响。
• 为工业软件分析中的预测区间提供一种实用且数据驱动的最优随机森林配置选择方法。

提出的方法

• 本研究使用两个真实世界数据集：一个来自Keymind Inc.，用于发布后缺陷预测；另一个来自Tukutuku项目，用于Web工作量估算。
• 通过穷举搜索，在多种配置下对单一超参数（max_features）进行调优，采用多种验证技术。
• 评估了八种验证技术：50/50保留法、75/25保留法、66/33保留法、时间序列交叉验证、时间序列HV交叉验证、自助采样法，以及两种非重复保留法变体。
• 提出了三种元验证技术，用于自动为每个数据集选择表现最佳的验证方法。
• 性能通过覆盖率（实际置信水平）、名义置信水平（声明置信水平）和区间宽度进行衡量，可靠性定义为覆盖率 ≥ 名义置信水平。
• 采用75/25保留法元验证技术选择最优验证方法，确保在所有数据集上均实现一致改进。

实验结果

研究问题

• RQ1 在用于调优随机森林时，哪种验证技术能产生既可靠又狭窄的预测区间？
• RQ2 元验证技术能否自动选择最有效的预测区间调优方法？
• RQ3 数据集顺序和时间敏感性如何影响不同验证技术在调优过程中的性能表现？
• RQ4 与默认配置相比，调整随机森林超参数是否能提升预测区间的可靠性和宽度？
• RQ5 75/25保留法验证技术是否在不同软件分析数据集中始终表现更优？

主要发现

• 默认的随机森林配置常产生不可靠的预测区间，覆盖率常低于名义置信水平。
• 大多数标准验证技术，包括50/50保留法和自助采样法，反而具有负面效果，常导致更宽或更不可靠的区间。
• 75/25保留法验证技术始终具有优势，避免了其他方法的缺陷，确保了可靠且狭窄的预测区间。
• 所提出的元验证方法成功识别出最佳调优策略，75/25保留法在两个数据集中均成为最优选择。
• 通过元验证调优随机森林，可显著提升预测区间的可靠性和狭窄程度，优于默认配置。
• 研究结果表明，工业数据集中存在的时间敏感性会影响验证性能，尤其对不保持顺序的方法（如自助采样法）影响显著。