[论文解读] Plug & Play Generative Networks: Conditional Iterative Generation of Images in Latent Space

Anh‐Tu Nguyen, Jeff Clune+3 more|arXiv (Cornell University)|Nov 30, 2016

Generative Adversarial Networks and Image Synthesis参考文献 17被引用 158

一句话总结

该论文提出了即插即用生成网络（PPGN），通过将预训练生成器与条件分类器及学习到的潜在先验相结合，提升图像生成质量。该方法在潜在空间中通过迭代采样，实现了在所有1000个ImageNet类别上生成227×227高分辨率、多样化且逼真的图像，其性能在质量与多样性方面达到当前最优水平。该方法通过将激活最大化统一于概率能量基框架下，并结合马尔可夫链蒙特卡洛调整的朗之万动力学（Metropolis-adjusted Langevin dynamics），实现了先进性能。

ABSTRACT

Generating high-resolution, photo-realistic images has been a long-standing goal in machine learning. Recently, Nguyen et al. (2016) showed one interesting way to synthesize novel images by performing gradient ascent in the latent space of a generator network to maximize the activations of one or multiple neurons in a separate classifier network. In this paper we extend this method by introducing an additional prior on the latent code, improving both sample quality and sample diversity, leading to a state-of-the-art generative model that produces high quality images at higher resolutions (227x227) than previous generative models, and does so for all 1000 ImageNet categories. In addition, we provide a unified probabilistic interpretation of related activation maximization methods and call the general class of models "Plug and Play Generative Networks". PPGNs are composed of 1) a generator network G that is capable of drawing a wide range of image types and 2) a replaceable "condition" network C that tells the generator what to draw. We demonstrate the generation of images conditioned on a class (when C is an ImageNet or MIT Places classification network) and also conditioned on a caption (when C is an image captioning network). Our method also improves the state of the art of Multifaceted Feature Visualization, which generates the set of synthetic inputs that activate a neuron in order to better understand how deep neural networks operate. Finally, we show that our model performs reasonably well at the task of image inpainting. While image models are used in this paper, the approach is modality-agnostic and can be applied to many types of data.

研究动机与目标

• 解决现有激活最大化方法在高分辨率图像生成中缺乏多样性和质量的问题。
• 通过在潜在码上引入学习到的先验，提升潜在空间优化中的样本多样性与真实感。
• 将现有激活最大化技术统一于概率能量基框架下，用于生成建模。
• 不仅支持基于ImageNet类别的条件图像生成，还通过模块化‘即插即用’条件网络支持基于图像描述的条件生成。
• 展示该方法在多方面特征可视化与图像修复任务中的实用性。

提出的方法

• 将激活最大化形式化为一种能量基模型，包含两个组成部分：潜在码 h 上的先验项 p(h) 和基于分类器激活的条件项。
• 使用生成网络 G 将潜在码 h 映射为图像，其中 G 在优化过程中保持预训练并固定。
• 应用近似马尔可夫链蒙特卡洛调整的朗之万采样算法，迭代采样自能量基模型，提升混合效率与样本多样性。
• 引入联合先验 p(h)，通过学习潜在空间中真实图像的特征，以促进逼真图像的生成。
• 通过优化 h 以最大化分类器网络 C 中目标神经元的激活值，实现条件生成，该分类器可为ImageNet分类网络或图像字幕网络。
• 通过同时依赖类别标签与部分真实图像上下文进行图像修复，约束 h 与观测图像区域相匹配。

实验结果

研究问题

• RQ1 是否可通过引入学习到的先验的潜在空间优化方法，在所有1000个ImageNet类别上生成高分辨率、多样化且逼真的图像？
• RQ2 与标准激活最大化方法相比，引入学习到的先验在提升样本多样性与质量方面效果如何？
• RQ3 同一生成器是否可用于生成不同条件类型（如ImageNet类别或自然语言描述）下的图像？
• RQ4 与先前方法相比，PPGN框架在多方面特征可视化方面提升了多少？
• RQ5 PPGN能否通过结合类别条件与空间上下文约束，实现有效的图像修复？

主要发现

• PPGN在所有1000个ImageNet类别上生成了227×227高分辨率图像，图像逼真度高且多样性显著，质量与多样性均优于先前方法。
• 在潜在码上引入学习到的先验显著提升了样本多样性，减少了模式崩溃现象，并支持在单个类别内探索多种图像构图。
• 该方法在多方面特征可视化任务中达到最先进性能，揭示了能有效激活单个神经元的多样化且语义有意义的刺激。
• PPGN在图像修复任务中表现优异，通过结合类别标签与空间上下文信息，重建缺失图像区域，生成语义一致的结果。
• 消融实验表明，先验项与条件项之间存在最优平衡（如 ϵ1 = 10⁻⁵），可最大化图像质量与多样性；而过强的先验会导致模式崩溃。
• 在某些情况下，模型生成图像的多样性甚至高于真实ImageNet训练图像，其在特征空间中的相似性更低，表明其有效探索了数据流形。