[论文解读] What's a good imputation to predict with missing values?

Marine Le Morvan, Julie Josse+2 more|arXiv (Cornell University)|Jun 1, 2021

Gaussian Processes and Bayesian Inference参考文献 19被引用 22

一句话总结

该论文证明，无论缺失数据机制如何，几乎所有插补函数下，先插补后回归的程序在渐近意义上均为贝叶斯最优，从而挑战了条件期望插补的必要性。本文提出NeuMiss，一种可微分的神经网络，用于联合插补与回归，在有限样本实验中表现优于标准的两步法，尤其在非忽略缺失情况下表现更优。

ABSTRACT

How to learn a good predictor on data with missing values? Most efforts focus on first imputing as well as possible and second learning on the completed data to predict the outcome. Yet, this widespread practice has no theoretical grounding. Here we show that for almost all imputation functions, an impute-then-regress procedure with a powerful learner is Bayes optimal. This result holds for all missing-values mechanisms, in contrast with the classic statistical results that require missing-at-random settings to use imputation in probabilistic modeling. Moreover, it implies that perfect conditional imputation is not needed for good prediction asymptotically. In fact, we show that on perfectly imputed data the best regression function will generally be discontinuous, which makes it hard to learn. Crafting instead the imputation so as to leave the regression function unchanged simply shifts the problem to learning discontinuous imputations. Rather, we suggest that it is easier to learn imputation and regression jointly. We propose such a procedure, adapting NeuMiss, a neural network capturing the conditional links across observed and unobserved variables whatever the missing-value pattern. Experiments confirm that joint imputation and regression through NeuMiss is better than various two step procedures in our experiments with finite number of samples.

研究动机与目标

• 为在预测前插补缺失值的广泛实践提供理论依据。
• 探究在一般缺失机制下，是否必须使用条件期望插补以实现最优预测。
• 解决两步法中插补与回归之间的脱节问题，特别是在最优回归函数变得不连续时。
• 提出一种联合学习框架，使插补与回归相互适应，从而提升有限样本下的性能。
• 通过实证验证，联合优化的NeuMiss方法优于标准的先插补后回归流程。

提出的方法

• 理论分析表明，对于任意缺失机制和几乎所有插补函数，只要学习器足够强大，先插补后回归在渐近意义上均为贝叶斯最优。
• 本文提出NeuMiss，一种深度神经网络，通过建模观测变量与缺失变量之间的条件依赖关系，学习一种可微分的联合插补与回归函数。
• NeuMiss 在不同缺失模式下共享权重，并将缺失掩码作为输入表示的一部分，支持端到端训练。
• 该方法通过联合训练目标进行评估，即最小化结果变量的预测误差，从而隐式优化插补与回归两个过程。
• 实验在模拟的非线性回归任务中对比了NeuMiss与标准插补方法（均值、MICE）以及梯度提升树模型，包括是否拼接掩码的变体。
• 超参数通过验证集进行调优；模型在100,000个样本上进行训练，其中10,000个用于验证和测试。

实验结果

研究问题

• RQ1 先插补后回归方法在所有缺失数据机制下是否都具有理论合理性，而不仅限于MAR？
• RQ2 在一般设置下，使用条件期望作为插补函数是否能产生贝叶斯最优预测器？
• RQ3 与两步法相比，联合学习插补与回归是否能提升预测性能？
• RQ4 插补方法的选择如何影响最终回归函数的连续性与可学习性？
• RQ5 在MNAR设置下，引入缺失掩码是否能提升性能？联合模型能否消除对显式掩码输入的需求？

主要发现

• 只要学习器足够强大，先插补后回归在所有缺失机制和几乎所有插补函数下均为渐近贝叶斯最优，且与缺失变量数量无关。
• 将最优插补（条件期望）与最优回归函数串联，会导致回归函数不连续，难以学习，从而带来额外风险。
• 使用最优插补后接多层感知机（MLP）可实现接近贝叶斯性能，表明即使回归函数非最优，连续函数仍可表现良好。
• NeuMiss 在所有两步法中表现最优，包括使用均值或MICE插补并拼接掩码的变体，尤其在MNAR设置下优势显著。
• 在MNAR设置下，将掩码拼接到插补数据中可提升均值和MICE插补的性能，但NeuMiss能内建地捕捉此类信息，无需显式输入掩码。
• 随着问题难度增加（如相关性较低），各方法之间的性能差异缩小，但NeuMiss在所有配置中均保持一致的优越性。