[论文解读] Multimodal Controller for Generative Models

Enmao Diao, Jie Ding+1 more|arXiv (Cornell University)|Feb 7, 2020

Generative Adversarial Networks and Image Synthesis参考文献 47被引用 4

一句话总结

本文提出一种即插即用的多模态控制器（MC），使非条件生成模型（VAE、PixelCNN、Glow、GAN）能够在不增加学习参数的情况下生成高质量、类别条件的图像。MC为每种数据模态分配唯一且均匀采样的子网络，通过重采样实现更优的生成质量与新型数据模态的创建，在CIFAR10、COIL100和Omniglot数据集上优于标准条件基线模型。

ABSTRACT

Class-conditional generative models are crucial tools for data generation from user-specified class labels. Existing approaches for class-conditional generative models require nontrivial modifications of backbone generative architectures to model conditional information fed into the model. This paper introduces a plug-and-play module named `multimodal controller' to generate multimodal data without introducing additional learning parameters. In the absence of the controllers, our model reduces to non-conditional generative models. We test the efficacy of multimodal controllers on CIFAR10, COIL100, and Omniglot benchmark datasets. We demonstrate that multimodal controlled generative models (including VAE, PixelCNN, Glow, and GAN) can generate class-conditional images of significantly better quality when compared with conditional generative models. Moreover, we show that multimodal controlled models can also create novel modalities of images.

研究动机与目标

• 开发一种通用的、无需参数的通用方法，将非条件生成模型转换为类别条件模型。
• 解决现有条件模型需要额外学习参数以生成条件嵌入的局限性。
• 通过重采样的子网络，实现训练过程中未见过的新型数据模态的生成。
• 在具有高类内差异性和多种模态的数据集（如Omniglot和COIL100）上展示优越性能。
• 提供一种可扩展且兼容多种主干架构（包括VAE、PixelCNN、Glow和GAN）的解决方案。

提出的方法

• 多模态控制器（MC）是一种非参数化、即插即用的模块，插入在生成模型的每一层中。
• 每种数据模态被分配一个来自词典的唯一、均匀采样的子网络，且不引入额外可训练参数。
• 模型通过根据类别标签将输入路由至对应子网络运行，从而为每种模态创建专用计算路径。
• 子网络通过作用于主网络权重的二值掩码实现，支持无需微调的动态路由。
• 通过均匀重采样词典条目，可创建新型数据模态，生成训练中未出现的新子网络。
• 通过在每一层应用MC，该方法兼容多种主干模型，包括VAE、PixelCNN、Glow和GAN。

实验结果

研究问题

• RQ1 是否可以使用无参数控制器，使非条件生成模型实现类别条件生成？
• RQ2 在具有多种模态的数据集上，多模态控制器是否在图像质量和多样性方面优于标准条件模型？
• RQ3 多模态控制器能否生成高质量、训练数据中未见的新型数据模态？
• RQ4 多模态控制器在不同主干架构（VAE、PixelCNN、Glow、GAN）上的性能是否具有鲁棒性？
• RQ5 与标准条件模型相比，MC在新型模态上生成图像的聚类质量如何？

主要发现

• 在CIFAR10、COIL100和Omniglot数据集上，多模态控制生成模型（MCGAN、MCVAE、MCPixelCNN、MCGlow）的FID分数显著优于其对应的条件基线模型。
• 在COIL100数据集上，MCGAN成功生成了多样化的物体旋转，而CGAN未能为所有旋转模式生成一致结果。
• 在Omniglot数据集上，MCGAN同时保留了类内差异性和类间区分性，而CGAN未能生成某些数据模态。
• 在CIFAR10上，MCGAN在新型数据模态创建中的Davies-Bouldin指数（DBI）为2.0（±0.30），而CGAN为33.2（±3.46），表明聚类更紧密且新型模态生成更无偏。
• 在COIL100上，MC方法的DBI为1.5（±0.07），在Omniglot上为3.6（±0.02），显著低于条件基线，证实了更优的聚类质量和生成保真度。
• 定性结果表明，MC词典中重采样的子网络可生成高保真度、多样化且逼真的新型数据模态，这些模态在训练中未曾出现。