[论文解读] VIGAN: Missing View Imputation with Generative Adversarial Networks

Chao Shang, Aaron Palmer+4 more|arXiv (Cornell University)|Aug 22, 2017

Generative Adversarial Networks and Image Synthesis参考文献 33被引用 17

一句话总结

本文提出VIGAN，一种基于生成对抗网络的方法，用于填补多视图或多模态数据集中完整缺失的视图。通过结合循环一致性GAN进行跨视图域映射与多模态去噪自编码器进行重建，VIGAN在基准数据集和真实世界遗传数据集上实现了最先进（SOTA）的填补准确率，优于CycleGAN和pix2pix等方法，在成对与非成对数据设置下均表现更优。

ABSTRACT

In an era when big data are becoming the norm, there is less concern with the quantity but more with the quality and completeness of the data. In many disciplines, data are collected from heterogeneous sources, resulting in multi-view or multi-modal datasets. The missing data problem has been challenging to address in multi-view data analysis. Especially, when certain samples miss an entire view of data, it creates the missing view problem. Classic multiple imputations or matrix completion methods are hardly effective here when no information can be based on in the specific view to impute data for such samples. The commonly-used simple method of removing samples with a missing view can dramatically reduce sample size, thus diminishing the statistical power of a subsequent analysis. In this paper, we propose a novel approach for view imputation via generative adversarial networks (GANs), which we name by VIGAN. This approach first treats each view as a separate domain and identifies domain-to-domain mappings via a GAN using randomly-sampled data from each view, and then employs a multi-modal denoising autoencoder (DAE) to reconstruct the missing view from the GAN outputs based on paired data across the views. Then, by optimizing the GAN and DAE jointly, our model enables the knowledge integration for domain mappings and view correspondences to effectively recover the missing view. Empirical results on benchmark datasets validate the VIGAN approach by comparing against the state of the art. The evaluation of VIGAN in a genetic study of substance use disorders further proves the effectiveness and usability of this approach in life science.

研究动机与目标

• 为解决多视图与多模态数据中的缺失视图问题，即某些样本中整个视图缺失，从而限制统计效能与模型性能。
• 开发一种可扩展的深度学习方法，能够有效重建缺失视图，而无需依赖完整视图或简单填补技术。
• 通过联合优化GAN与自编码器组件，整合领域映射与视图对应关系的知识。
• 在真实世界生物医学数据集（特别是物质使用障碍的遗传研究）上评估该方法，以证明其实际应用价值。
• 将基于GAN的方法的应用范围从图像到图像转换扩展至结构化、数值型多视图数据。

提出的方法

• VIGAN采用循环一致性GAN，学习不同数据视图之间的双向映射，将每个视图视为独立的领域。
• 利用多模态去噪自编码器（DAE）从GAN生成的输出中，基于视图间的成对数据重建缺失视图。
• 通过联合优化GAN与DAE组件，实现在不同领域与视图对应关系之间的知识融合。
• 采用多阶段训练策略，结合成对与非成对数据，以提升泛化能力与鲁棒性。
• 使用Adam优化器的随机梯度下降法，确保在大规模数据集上的可扩展性与收敛性。
• 通过适配TripleGAN等框架中的CycleGAN结构，可将该方法扩展至多于两组视图，并支持多模态自编码器的预训练。

实验结果

研究问题

• RQ1 当某些样本中整个视图缺失时，基于GAN的框架是否能有效学习跨视图映射？
• RQ2 与仅使用GAN相比，去噪自编码器的集成如何提升缺失视图填补的重建准确率？
• RQ3 在训练过程中使用非成对数据是否能提升视图填补模型的性能？
• RQ4 在数值型与图像数据上，VIGAN与SOTA方法（如CycleGAN、pix2pix与矩阵补全）相比，其填补准确率如何？
• RQ5 VIGAN能否有效应用于真实世界生物医学数据集，如物质使用障碍的遗传研究？

主要发现

• 在MNIST数据集上，VIGAN使用全部数据（成对与非成对）实现了80.03%的平均准确率，优于CycleGAN（75.70%）与pix2pix（71.89%）。
• 在酒精与大麻遗传数据集中，VIGAN在非成对数据上实现了64.50%的平均准确率，优于CycleGAN（61.96%）与pix2pix（61.12%）。
• VIGAN模型在任一视图被填补时均表现出一致性能，显示出在视图转换双向过程中的鲁棒性。
• 矩阵补全方法因可扩展性问题无法将数据加载至内存，而VIGAN在Tesla K40 GPU上数小时内即可高效训练完成。
• 多模态DAE的集成显著提升了准确率，优于仅使用GAN的基线模型，表明去噪与重建在数值型数据填补中的关键价值。
• VIGAN在真实世界遗传数据上表现出强大的泛化能力与稳定性，验证了其在生命科学与复杂异构数据集中的实际可用性。