[论文解读] Sketch-to-Image Generation Using Deep Contextual Completion.

Yongyi Lu, Shangzhe Wu+2 more|arXiv (Cornell University)|Nov 24, 2017

Generative Adversarial Networks and Image Synthesis参考文献 26被引用 7

一句话总结

本文提出一种上下文生成对抗网络（contextual GAN），将草图视为弱约束而非严格边缘引导，通过在共享空间中联合学习图像与草图补全，实现从低质量草图生成更逼真的图像。该方法在三个数据集上的复杂输入下均优于最先进条件生成对抗网络，在真实感和泛化能力方面表现更优。

ABSTRACT

In this paper we investigate image generation guided by hand sketch. When the input sketch is badly drawn, the output of common image-to-image translation follows the input edges due to the hard condition imposed by the translation process. Instead, we propose to use sketch as weak constraint, where the output edges do not necessarily follow the input edges. We address this problem using a novel joint image completion approach, where the sketch provides the image context for completing, or generating the output image. We train a generated adversarial network, i.e, contextual GAN to learn the joint distribution of sketch and the corresponding image by using joint images. Our contextual GAN has several advantages. First, the simple joint image representation allows for simple and effective learning of joint distribution in the same image-sketch space, which avoids complicated issues in cross-domain learning. Second, while the output is related to its input overall, the generated features exhibit more freedom in appearance and do not strictly align with the input features as previous conditional GANs do. Third, from the joint image's point of view, image and sketch are of no difference, thus exactly the same deep joint image completion network can be used for image-to-sketch generation. Experiments evaluated on three different datasets show that our contextual GAN can generate more realistic images than state-of-the-art conditional GANs on challenging inputs and generalize well on common categories.

研究动机与目标

• 解决现有图像到图像转换模型对绘制拙劣的草图边缘过度依赖的问题，从而导致输出不真实。
• 通过将草图视为上下文引导而非硬性约束，实现更灵活、更真实的图像生成。
• 在共享图像-草图空间中学习草图与图像对的联合分布，以简化跨域学习。
• 开发一种统一的深度神经网络，使用相同架构实现图像到草图和草图到图像的生成。
• 即使在输入草图存在噪声或不完整的情况下，也能在常见图像类别上实现更好的泛化能力和真实感。

提出的方法

• 该方法采用一种上下文生成对抗网络，通过成对的草图与图像数据联合训练，学习共享图像-草图空间中的联合分布。
• 采用联合图像表征，使草图和图像均被视为同等有效的输入，从而实现双向对称生成。
• 网络通过对抗训练生成基于草图上下文的逼真图像，且生成器可自由偏离输入草图边缘。
• 模型利用共享的深度特征提取器和补全网络，在联合表征上填充缺失或模糊的区域。
• 训练目标鼓励生成器输出与草图整体上下文一致的逼真结果，而不仅局限于边缘匹配。
• 通过在统一空间中学习，避免了复杂的跨域适应，其中草图与图像被视为等价模态。

实验结果

研究问题

• RQ1 若将草图视为弱上下文约束而非严格边缘模板，是否能提升草图到图像的生成效果？
• RQ2 在共享空间中联合学习草图与图像，对生成图像的真实感和多样性有何影响？
• RQ3 单一深度网络在保持一致性能的前提下，能在多大程度上同时实现图像到草图和草图到图像的生成？
• RQ4 当输入为低质量或不完整的草图时，所提方法在常见图像类别上的泛化能力是否优于条件生成对抗网络？
• RQ5 通过允许生成结果偏离输入草图边缘，同时保持语义一致性，模型能否生成更逼真的输出？

主要发现

• 与最先进条件生成对抗网络相比，上下文生成对抗网络在具有挑战性的、绘制拙劣的草图上生成了更逼真的图像。
• 该模型在外观生成方面具有更大自由度，避免了与输入草图边缘的刚性对齐，同时保持了语义一致性。
• 联合图像表征通过消除复杂的跨域适应，简化了学习过程，从而实现更稳定和高效的训练。
• 同一深度网络可用于草图到图像和图像到草图的生成，展示了架构的对称性与多功能性。
• 该方法在常见图像类别上泛化良好，对草图质量与完整性变化表现出强鲁棒性。
• 在三个数据集上的实验结果证实，与基线条件生成对抗网络相比，该方法在真实感和多样性方面均实现了持续的性能提升。