[论文解读] When to Impute? Imputation before and during cross-validation

Byron C. Jaeger, Nicholas Tierney+1 more|arXiv (Cornell University)|Oct 1, 2020

Statistical Methods and Bayesian Inference参考文献 13被引用 8

一句话总结

本文研究在交叉验证前进行缺失值填补（I→CV）是否相较于在每次交叉验证折中进行填补（CV∘→I）会引入泛化误差估计的偏差。尽管存在轻微的乐观偏差，I→CV 降低了方差，并在估计外部 R² 时整体均方根误差更低，且在调优模型中性能差异极小，因此在某些场景下是一种计算高效且有效的替代方案。

ABSTRACT

Cross-validation (CV) is a technique used to estimate generalization error for prediction models. For pipeline modeling algorithms (i.e. modeling procedures with multiple steps), it has been recommended the entire sequence of steps be carried out during each replicate of CV to mimic the application of the entire pipeline to an external testing set. While theoretically sound, following this recommendation can lead to high computational costs when a pipeline modeling algorithm includes computationally expensive operations, e.g. imputation of missing values. There is a general belief that unsupervised variable selection (i.e. ignoring the outcome) can be applied before conducting CV without incurring bias, but there is less consensus for unsupervised imputation of missing values. We empirically assessed whether conducting unsupervised imputation prior to CV would result in biased estimates of generalization error or result in poorly selected tuning parameters and thus degrade the external performance of downstream models. Results show that despite optimistic bias, the reduced variance of imputation before CV compared to imputation during each replicate of CV leads to a lower overall root mean squared error for estimation of the true external R-squared and the performance of models tuned using CV with imputation before versus during each replication is minimally different. In conclusion, unsupervised imputation before CV appears valid in certain settings and may be a helpful strategy that enables analysts to use more flexible imputation techniques without incurring high computational costs.

研究动机与目标

• 评估在交叉验证前进行无监督填补（I→CV）是否相较于在每次交叉验证折中进行填补（CV∘→I）会引入泛化误差估计的偏差。
• 研究 I→CV 是否导致模型超参数（如填补的最近邻数）选择不佳，从而降低外部模型性能。
• 评估在存在缺失数据的流水线建模中，计算成本与估计精度之间的权衡。
• 确定 I→CV 是否是缺失值填补在机器学习流水线中相对于 CV∘→I 的有效且实用的替代方案。

提出的方法

• 本研究比较了两种工作流程：I→CV（在交叉验证前一次性完成填补）与 CV∘→I（在每次交叉验证折中重复填补）。
• 作者使用了具有不同缺失数据机制（MCAR、MAR）的模拟数据以及真实数据（Ames 房屋数据集）来评估性能。
• 泛化误差通过外部 R² 进行估计，模型调优基于选择最优的最近邻数以进行填补。
• 引入 ipa R 包，以支持在预测分析中对训练集和测试集进行单重和多重填补。
• 使用均方根误差（RMSE）比较 I→CV 与 CV∘→I 在泛化误差估计精度上的差异。
• 通过不同样本大小和缺失数据情景的统计比较，评估偏差、方差及整体估计质量。

实验结果

研究问题

• RQ1 在交叉验证前进行缺失值填补（I→CV）是否相较于在每次交叉验证折中进行填补（CV∘→I）导致泛化误差估计产生偏差？
• RQ2 I→CV 是否导致模型超参数（如填补的最近邻数）调优不佳，从而造成外部模型性能下降？
• RQ3 在不同数据情景和样本大小下，I→CV 与 CV∘→I 的泛化误差估计偏差与方差如何比较？
• RQ4 I→CV 与 CV∘→I 之间的计算成本差异如何？该差异是否影响 CV∘→I 的实际可行性？

主要发现

• 与 CV∘→I 相比，I→CV 在泛化误差估计中表现出轻微但一致的乐观偏差，但该偏差在量级上较小。
• 尽管存在乐观偏差，I→CV 由于显著降低的方差，整体均方根误差（RMSE）更低，从而更准确地估计真实外部 R²。
• 使用 I→CV 调优的模型性能与使用 CV∘→I 调优的模型相比差异极小，表明外部模型性能未下降。
• 在 Ames 房屋数据集中，使用 CV∘→I 的填补时间约为 I→CV 的 10 倍，反映出在多折中重复填补带来的计算负担。
• 在所有情景中，通过 I→CV 和 CV∘→I 选择的最优最近邻数始终一致，表明调优精度相当。
• 总体而言，所有情景下 I→CV 的平均外部 R² 为 40.5%，而 CV∘→I 为 37.8%，I→CV 在偏差与方差之间表现出更好的平衡。