[论文解读] Multiple Imputation with Denoising Autoencoder using Metamorphic Truth and Imputation Feedback

Haw-minn Lu, Giancarlo Perrone+1 more|arXiv (Cornell University)|Feb 19, 2020

Face and Expression Recognition参考文献 11被引用 9

一句话总结

本文提出一种基于去噪自编码器的多重插补方法，通过引入变换真实（Metamorphic Truth）和插补反馈（Imputation Feedback）机制，有效降低缺失数据中偏差并保持统计关系。该方法在最小化均方根误差和协方差漂移方面，优于标准去噪自编码器（DAE）、MICE和均值插补法，适用于多种缺失机制。

ABSTRACT

Although data may be abundant, complete data is less so, due to missing columns or rows. This missingness undermines the performance of downstream data products that either omit incomplete cases or create derived completed data for subsequent processing. Appropriately managing missing data is required in order to fully exploit and correctly use data. We propose a Multiple Imputation model using Denoising Autoencoders to learn the internal representation of data. Furthermore, we use the novel mechanisms of Metamorphic Truth and Imputation Feedback to maintain statistical integrity of attributes and eliminate bias in the learning process. Our approach explores the effects of imputation on various missingness mechanisms and patterns of missing data, outperforming other methods in many standard test cases.

研究动机与目标

• 解决基于深度学习的插补方法中，因初始插补导致统计关系失真而引入的偏差问题。
• 通过整合先前插补的反馈信息，并利用动态真实信号引导学习过程，改进多重插补性能。
• 在MCAR、MAR和MNAR缺失机制下，保持数据属性的统计完整性，特别是协方差结构。
• 通过标准化指标，在多种缺失模式（随机、均匀）和机制下评估性能表现。
• 证明神经网络基插补方法可在保持数据关系方面媲美甚至超越传统方法（如MICE）

提出的方法

• 采用具有50%输入丢弃和7层架构（宽度先增后减，缩放因子Θ=7）的去噪自编码器（DAE），以学习数据表征。
• 变换真实（Metamorphic Truth）通过使用先前插补结果的加权平均动态调整重建目标，降低初始学习阶段的偏差。
• 插补反馈（Imputation Feedback）通过在逐步改进的插补结果上迭代微调自编码器，提升泛化能力。
• 模型训练500个周期，包含10个周期的预热阶段，以及245轮每轮2个周期的精细调优，以稳定学习过程。
• 在插补前对所有数据集进行归一化处理，且为保证公平比较，MICE结果也采用相同缩放方式归一化。
• 生成每种方法5次多重插补结果，并通过均方根误差和协方差漂移指标进行评估。

实验结果

研究问题

• RQ1 与标准DAE和MICE相比，结合变换真实与插补反馈的去噪自编码器是否能有效降低多重插补中的偏差？
• RQ2 所提方法在不同缺失机制（MCAR、MAR、MNAR）和缺失模式（随机、均匀）下的表现如何？
• RQ3 该方法在插补后多大程度上保持了变量间的协方差结构？
• RQ4 先前插补结果的反馈整合是否提升了后续重建的质量？
• RQ5 神经网络基插补方法能否在保持数据关系方面达到或超越MICE的统计保真度？

主要发现

• 结合变换真实与插补反馈的DAE（DAE MT）在所有数据集和缺失条件下均实现了最低的均方根误差，优于标准DAE、MICE和均值插补法。
• 在MNAR条件下，DAE MT将协方差漂移平均降低至0.4–0.6（×10），显著优于标准DAE（1.1–2.6 ×10），并接近MICE性能。
• 在BH数据集的MNAR条件下，DAE MT的协方差漂移为0.6（0.6）×10，而标准DAE为1.1（1.2）×10，MICE为0.4（0.5）×10。
• 在SN数据集上，随机缺失条件下DAE MT的协方差漂移为0.5（0.5）×10，而标准DAE为0.7（0.7）×10，MICE为0.6（0.7）×10。
• 该方法在所有缺失模式和机制下均保持优越性能，且在均方根误差与协方差保持方面持续提升。
• 变换真实机制显著缓解了初始插补引入的偏差，尤其在标准DAE难以保持关系的MNAR场景中表现突出。