[论文解读] not-MIWAE: Deep Generative Modelling with Missing not at Random Data

Niels Bruun Ipsen, Pierre‐Alexandre Mattei+1 more|arXiv (Cornell University)|Jun 23, 2020

Bayesian Methods and Mixture Models参考文献 92被引用 21

一句话总结

本文提出 not-MIWAE，一种深度生成模型，通过将可学习的缺失机制整合到变分自编码器框架中，显式建模缺失非随机（MNAR）数据。通过在潜在空间和数据空间均使用重参数化随机梯度，该方法在无需无偏验证数据的情况下，实现了 MNAR 数据上的最先进插补性能，优于依赖倾向性评分的方法。

ABSTRACT

When a missing process depends on the missing values themselves, it needs to be explicitly modelled and taken into account while doing likelihood-based inference. We present an approach for building and fitting deep latent variable models (DLVMs) in cases where the missing process is dependent on the missing data. Specifically, a deep neural network enables us to flexibly model the conditional distribution of the missingness pattern given the data. This allows for incorporating prior information about the type of missingness (e.g. self-censoring) into the model. Our inference technique, based on importance-weighted variational inference, involves maximising a lower bound of the joint likelihood. Stochastic gradients of the bound are obtained by using the reparameterisation trick both in latent space and data space. We show on various kinds of data sets and missingness patterns that explicitly modelling the missing process can be invaluable.

研究动机与目标

• 为解决缺失机制依赖于未观测值（MNAR）时的缺失数据挑战，这会破坏标准的 MAR/MCAR 假设。
• 开发一种深度潜在变量模型，联合学习数据分布与缺失过程，实现在 MNAR 条件下的准确推断。
• 提升现实场景中缺失非随机数据的插补准确性，例如推荐系统、图像裁剪和右删失数据集。
• 通过直接从数据中学习缺失模型，消除对用于倾向性估计的外部无偏数据的依赖。
• 通过基于深度神经网络的缺失模型，实现对复杂缺失模式的灵活建模。

提出的方法

• 该模型通过引入一个可学习的缺失模型 $ p_{\phi}(\mathbf{s}|\mathbf{x}) $ 扩展了 MIWAE 框架，该模型将观测数据映射到缺失模式。
• 采用重要性加权变分推断，以最大化观测数据与缺失模式联合似然的下界。
• 通过在潜在空间（$ \mathbf{z} $）和数据空间（$ \mathbf{x} $）均使用重参数化技巧获得随机梯度，实现端到端训练。
• 对于分类数据，应用温度为 0.5 的 Gumbel-Softmax 技巧，实现在数据空间中的可微采样。
• 缺失模型被实现为每个特征的逻辑回归，共享权重并具有独立偏置，以捕捉特征特定的缺失倾向。
• 该框架支持高斯和分类观测模型，实现对多种数据类型的灵活性支持。

实验结果

研究问题

• RQ1 深度生成模型能否通过联合学习数据分布与缺失模式分布，提升在 MNAR 机制下的插补性能？
• RQ2 通过神经网络显式建模缺失过程，是否能优于假设 MAR 或 MCAR 的方法？
• RQ3 not-MIWAE 是否能在无需访问用于倾向性估计的无偏（MCAR）数据的情况下，实现最先进插补结果？
• RQ4 该模型在自删失、图像裁剪和推荐系统中选择偏差等多样化的 MNAR 模式下表现如何？
• RQ5 将关于缺失机制的先验知识融入模型架构，会产生何种影响？

主要发现

• 当在 MNAR 数据上进行训练时，not-MIWAE 在 MCAR 测试集上实现了最低的均方误差（MSE）0.939 ± 0.007，优于所有基线方法，包括使用倾向性评分的方法。
• 与 MIWAE 产生的有偏插补结果不同，not-MIWAE 的插补分布在直方图比较中与 MCAR 测试集的真实边缘分布高度一致。
• not-MIWAE 显著优于使用分类观测模型的 MIWAE（MSE: 2.067 ± 0.004），甚至超越了显式建模 MNAR 的 MF-MNAR 模型（MSE: 2.199），后者性能表现不佳。
• 该方法在无需单独获取 MCAR 数据用于倾向性估计的情况下，实现了最先进性能，而诸如 MF-IPS 和 MF-DR-JL 等模型则依赖此类数据。
• 在潜在空间和数据空间均使用重参数化梯度，实现了稳定高效的训练，这对联合似然的端到端优化至关重要。
• 该模型在多种 MNAR 场景下表现出鲁棒性，包括右删失的 UCI 数据、裁剪图像以及选择性偏差的推荐系统。