[论文解读] Multi-View Data Generation Without View Supervision

Mickaël Chen, Ludovic Denoyer+1 more|arXiv (Cornell University)|Nov 1, 2017

Generative Adversarial Networks and Image Synthesis参考文献 29被引用 9

一句话总结

该论文提出了一种生成对抗网络模型（GMV）及其条件变体（C-GMV），在无需视图级别监督的情况下，从多视角数据中解耦内容与视角因子，从而实现任意内容的高多样性、逼真新视角生成。该模型通过在成对的多视角样本上进行对抗性训练，学习到一个解耦的潜在空间，在四个图像数据集上实现了视图多样性和样本真实性的最先进性能，且无需视图标注。

ABSTRACT

The development of high-dimensional generative models has recently gained a great surge of interest with the introduction of variational auto-encoders and generative adversarial neural networks. Different variants have been proposed where the underlying latent space is structured, for example, based on attributes describing the data to generate. We focus on a particular problem where one aims at generating samples corresponding to a number of objects under various views. We assume that the distribution of the data is driven by two independent latent factors: the content, which represents the intrinsic features of an object, and the view, which stands for the settings of a particular observation of that object. Therefore, we propose a generative model and a conditional variant built on such a disentangled latent space. This approach allows us to generate realistic samples corresponding to various objects in a high variety of views. Unlike many multi-view approaches, our model doesn't need any supervision on the views but only on the content. Compared to other conditional generation approaches that are mostly based on binary or categorical attributes, we make no such assumption about the factors of variations. Our model can be used on problems with a huge, potentially infinite, number of categories. We experiment it on four image datasets on which we demonstrate the effectiveness of the model and its ability to generalize.

研究动机与目标

• 开发一种无需视图级别标注即可在多视角数据中学习解耦内容与视角因子的生成模型。
• 实现对任意给定内容的高多样性、逼真新视角生成，即使面对连续或无限的视角变化。
• 将模型扩展至条件设置，仅通过单张输入图像生成多个视角，且无需视图监督。
• 克服现有模型依赖离散标签视角属性或需要视图监督的局限性。
• 在具有有限或无视图标注的真实世界图像数据集上，验证模型的泛化能力与真实感。

提出的方法

• 该模型采用生成对抗网络（GAN）框架，在同一内容的多视角样本对上进行训练，不使用显式的视图标签。
• 学习一个解耦的潜在空间，其中内容与视角分别编码在独立的向量中。
• 对生成的图像对应用对抗性训练，以确保高视觉质量和真实感。
• 模型采用判别器，用于区分真实多视角样本对与生成样本对，从而促进对真实分布的忠实建模。
• 对于条件变体（C-GMV），模型基于单张输入图像的解耦内容编码，生成多个视角。
• 训练目标结合对抗性损失与重建损失，以在保持内容身份的同时实现视角变化。

实验结果

研究问题

• RQ1 生成模型是否能在无任何视图级别监督的情况下，从多视角数据中学习解耦的内容与视角因子？
• RQ2 该模型是否能为任意给定内容生成多样化且逼真的视角集合，即使面对连续或无限的视角变化？
• RQ3 在视图多样性和样本质量方面，与有监督或基于离散属性的方法相比，该模型表现如何？
• RQ4 条件变体能否在无需视图标注的情况下，从单张输入图像生成多个逼真的视角？
• RQ5 该模型在具有不同视角分布和内容复杂度的数据集上是否表现出良好的泛化能力？

主要发现

• 所提出的GMV与C-GMV模型在无任何视图标注的情况下，仍能生成高度逼真且具有显著视图多样性的样本。
• 在生成多样化视图方面，该模型优于基线方法，尤其在CelebA数据集上，能更广泛地捕捉面部视角与表情变化。
• 条件变体（C-GMV）成功地从单张输入图像生成多个新颖视角，展现出强大的泛化能力与解耦性能。
• 该模型无需依赖离散属性即可实现高质量生成，支持连续甚至潜在的无限视角变化。
• 在四个图像数据集上的实验验证了模型学习解耦表征的能力，并能在多样化的视角设置下生成视觉上合理的样本。
• 该方法在低数据场景下（如少样本或零样本学习设置）具有显著的数据增强潜力。