[论文解读] On the Diversity of Realistic Image Synthesis

Zichen Yang, Haifeng Liu+1 more|arXiv (Cornell University)|Dec 20, 2017

Advanced Image Processing Techniques参考文献 30被引用 5

一句话总结

本文提出一种多样性损失目标，以提升基于语义布局的条件生成对抗网络（conditional GANs）生成多样化、逼真图像的能力。通过将输入噪声与语义区域关联，并基于噪声差异最大化输出之间的距离，该方法在不降低图像真实感的前提下，实现了高多样性与用户可控的图像编辑。在多样性方面优于基线模型，同时保持了图像保真度。

ABSTRACT

Many image processing tasks can be formulated as translating images between two image domains, such as colorization, super resolution and conditional image synthesis. In most of these tasks, an input image may correspond to multiple outputs. However, current existing approaches only show very minor diversity of the outputs. In this paper, we present a novel approach to synthesize diverse realistic images corresponding to a semantic layout. We introduce a diversity loss objective, which maximizes the distance between synthesized image pairs and links the input noise to the semantic segments in the synthesized images. Thus, our approach can not only produce diverse images, but also allow users to manipulate the output images by adjusting the noise manually. Experimental results show that images synthesized by our approach are significantly more diverse than that of the current existing works and equipping our diversity loss does not degrade the reality of the base networks.

研究动机与目标

• 解决条件图像生成中多样性不足的问题，即同一输入可能产生多个有效输出。
• 通过手动调整输入噪声，实现对生成图像的用户控制。
• 在显著提升输出多样性的同时，保持高图像真实感。
• 开发一种可插拔的损失函数，适用于多种基础生成网络。

提出的方法

• 引入一种多样性损失，通过最大化对应输入噪声向量距离来最大化图像输出之间的距离。
• 将噪声向量的每个维度与布局中的特定语义区域关联，以实现局部化的图像编辑。
• 修改生成器网络，通过将噪声与语义布局作为输入通道进行拼接，实现条件化噪声使用。
• 使用组合损失进行网络训练：基础网络损失（如对抗损失或L1损失）加上带超参数β的多样性损失。
• 每组训练样本进行两次前向传播：一次使用随机噪声，一次使用零噪声，以计算多样性损失。
• 将多样性损失作为可插拔模块应用于现有模型（如Pix2pix和CRN），无需修改网络架构。

实验结果

研究问题

• RQ1 一个简单且模块化的损失函数是否能显著提升图像生成的多样性，同时不损害真实感？
• RQ2 如何有意义地将输入噪声与语义区域关联，以实现细粒度且直观的图像编辑？
• RQ3 该多样性损失在不同基础生成模型上的泛化能力如何？
• RQ4 该多样性损失是否能保持基础网络的图像质量和结构保真度？
• RQ5 通过独立地对每个语义类别调整噪声维度，能否实现生成输出的指数级多样性提升？

主要发现

• 所提出的多样性损失在定性和定量分析中均显著提升了输出多样性，优于Pix2pix和CRN等基线模型。
• 多样性损失未降低图像真实感——评估指标（如FID、LPIPS）显示图像质量无显著下降。
• 通过调整单个噪声维度，该方法实现了用户可控的图像编辑，支持对特定语义区域的独立操作。
• 该多样性损失在不同数据集（CMP Facades和Cityscapes）及基础模型上均表现有效，展现出广泛的适用性。
• 可能的多样化输出数量随语义类别数量呈指数级增长（k^n），可生成大量逼真的图像变体。
• 即使在简单布局中，该方法也能成功生成结构上的变化（如不同类型的窗户、墙体纹理），但在输入过于简单时性能有所下降。