[论文解读] Who wins the Miss Contest for Imputation Methods? Our Vote for Miss BooPF

Burim Ramosaj, Markus Pauly|arXiv (Cornell University)|Nov 30, 2017

Statistical Methods and Inference参考文献 19被引用 4

一句话总结

该论文提出了一种名为 Miss BooPF 的新型插补方法，结合了随机梯度树提升（S.GBM）与参数化自 resampling 的随机森林，相较于现有方法（如 missForest 和 MICE），在 MCAR、MAR 和 MNAR 机制下对连续型、分类型及混合类型数据均实现了更优的准确性。该方法通过利用先进的重采样与提升策略提升插补性能，在合成数据与真实世界数据中均表现出一致的改进。

ABSTRACT

Missing data is an expected issue when large amounts of data is collected, and several imputation techniques have been proposed to tackle this problem. Beneath classical approaches such as MICE, the application of Machine Learning techniques is tempting. Here, the recently proposed missForest imputation method has shown high imputation accuracy under the Missing (Completely) at Random scheme with various missing rates. In its core, it is based on a random forest for classification and regression, respectively. In this paper we study whether this approach can even be enhanced by other methods such as the stochastic gradient tree boosting method, the C5.0 algorithm or modified random forest procedures. In particular, other resampling strategies within the random forest protocol are suggested. In an extensive simulation study, we analyze their performances for continuous, categorical as well as mixed-type data. Therein, MissBooPF, a combination of the stochastic gradient tree boosting method together with the parametrically bootstrapped random forest method, appeared to be promising. Finally, an empirical analysis focusing on credit information and Facebook data is conducted.

研究动机与目标

• 提升在参数假设不成立的复杂混合类型数据集中缺失数据插补的准确性。
• 评估先进的树基方法（如 S.GBM 与改进的随机森林）是否优于标准插补技术（如 missForest 与 MICE）。
• 探究替代性重采样策略（特别是参数化自 resampling）在随机森林框架内对插补性能的影响。
• 开发并验证一种稳健、灵活的插补框架，适用于具有不同缺失机制的真实世界数据。
• 在合成模拟与真实数据（信用与 Facebook 数据）分析中，证明 Miss BooPF 的优越性。

提出的方法

• 提出 Miss BooPF，一种混合插补方法，将用于回归与分类任务的随机梯度树提升（S.GBM）与改进的参数化自 resampling 随机森林（Kernel RF）结合，以提升估计精度。
• 采用参数化自 resampling 方法重采样训练数据，在保持分布特性的同时降低计算成本，尤其适用于大规模数据集。
• 采用类似 MICE 的循环插补协议，但以树基模型替代链式方程，从而在无需参数假设的情况下处理混合类型数据。
• 应用 S.GBM 对决策树进行序列式提升，以优化高维非线性数据结构中的预测准确性。
• 实施一种数据自适应策略，根据变量类型（连续型 vs. 分类型）选择 Kernel RF 或 S.GBM，增强模型特异性。
• 采用一种新颖的重采样调度机制，将训练数据压缩为估计的自 resampling 参数，相比标准非参数重采样，显著降低内存与时间开销。

实验结果

研究问题

• RQ1 在混合类型数据设置下，随机梯度树提升（S.GBM）是否能提升插补准确性，优于基于标准随机森林的方法（如 missForest）？
• RQ2 在随机森林插补中，参数化自 resampling 与传统非参数重采样相比，在插补准确性与计算效率方面表现如何？
• RQ3 在多种缺失数据机制（MCAR、MAR、MNAR）下，Miss BooPF 是否优于 MICE 与 missForest 等成熟方法？
• RQ4 在使用不同重采样与提升策略时，插补性能在连续型、分类型与混合类型变量上的表现有何差异？
• RQ5 结合 Kernel RF 与 S.GBM 的混合方法是否能在合成数据与真实世界数据中均实现一致的性能提升？

主要发现

• 在所有数据类型与缺失机制下，Miss BooPF 在归一化均方根误差（NRMSE）方面显著优于 missForest、MICE 及其他基准方法。
• 对于连续型变量，即使在非正态分布下，Miss BooPF 的 NRMSE 仍低于 missForest，表明其对分布假设违反具有鲁棒性。
• 对于类别频率不均的分类型变量，Miss BooPF 中基于 S.GBM 的插补在分类准确性方面优于 missForest。
• Miss BooPF 中的参数化自 resampling 策略在降低计算成本的同时，保持或提升了插补准确性，优于标准非参数重采样。
• 在信用与 Facebook 数据上的实证分析表明，Miss BooPF 提供了比基线方法更准确的插补结果，尤其在高维混合类型数据场景中表现突出。
• Miss BooPF 的混合设计——对连续型变量使用 Kernel RF，对分类型变量使用 S.GBM——在多种数据结构中均表现出有效性与适应性。