[论文解读] TextureGAN: Controlling Deep Image Synthesis with Texture Patches

Wenqi Xian, Patsorn Sangkloy+6 more|arXiv (Cornell University)|Jun 9, 2017

Generative Adversarial Networks and Image Synthesis参考文献 52被引用 25

一句话总结

TextureGAN 提出了一种新颖的深度图像生成框架，用户可通过将纹理贴图拖放到草图轮廓上实现实时控制纹理生成。通过结合对抗性损失、内容损失以及一种新颖的局部纹理损失，该模型能够生成高分辨率、逼真的图像，并实现精确的纹理传播，即使在复杂形状和多种纹理下也能保持效果。

ABSTRACT

In this paper, we investigate deep image synthesis guided by sketch, color, and texture. Previous image synthesis methods can be controlled by sketch and color strokes but we are the first to examine texture control. We allow a user to place a texture patch on a sketch at arbitrary locations and scales to control the desired output texture. Our generative network learns to synthesize objects consistent with these texture suggestions. To achieve this, we develop a local texture loss in addition to adversarial and content loss to train the generative network. We conduct experiments using sketches generated from real images and textures sampled from a separate texture database and results show that our proposed algorithm is able to generate plausible images that are faithful to user controls. Ablation studies show that our proposed pipeline can generate more realistic images than adapting existing methods directly.

研究动机与目标

• 使非专业人士能够仅通过简单的草图和纹理贴图输入生成逼真的纹理图像。
• 解决深度图像生成中细粒度纹理控制的不足，超越粗粒度风格迁移的局限。
• 开发一种前馈生成模型，支持交互式编辑并提供实时反馈。
• 学习鲁棒的纹理迁移，尊重物体边界、明暗关系以及类似三维的透视压缩效果。
• 通过新型局部纹理损失机制，提升模型对未见纹理的泛化能力。

提出的方法

• 该模型采用基于真实图像训练的条件生成对抗网络（conditional GAN）架构，从草图和纹理贴图生成图像。
• 引入一种新型局部纹理损失，以促使网络在物体区域间一致地传播纹理细节。
• 网络在 Lab 颜色空间中运行，将颜色与内容解耦，以实现更精细的控制。
• 训练数据通过从真实照片中自动提取草图和纹理贴图生成。
• 通过引入局部纹理判别器进行外部纹理微调，显著提升了在复杂纹理（如条纹）上的表现。
• 系统支持单个草图对应多个纹理贴图，且纹理传播尊重语义边界和物体轮廓。

实验结果

研究问题

• RQ1 能否通过用户放置在草图上的纹理贴图有效控制深度图像生成？
• RQ2 生成模型如何学习在物体边界之间传播多样化、高分辨率的纹理？
• RQ3 需要哪些损失函数才能实现逼真的纹理生成与一致的纹理传播？
• RQ4 该模型能否泛化到训练数据中未出现过的纹理？
• RQ5 所提出的局部纹理损失与风格损失或像素损失相比，在保持纹理保真度方面表现如何？

主要发现

• TextureGAN 仅通过草图和纹理贴图输入，成功生成了高分辨率、逼真的图像，并实现了精确的纹理控制。
• 消融实验表明，与仅使用风格损失或像素损失相比，所提出的局部纹理损失显著提升了纹理传播与一致性的表现。
• 模型在输入贴图区域保留了纹理细节，并能准确地将这些细节传播至物体区域，即使贴图超出草图边界也保持效果。
• 通过外部纹理微调，网络在手提包和衣物等复杂纹理（如条纹）上取得了更优的结果。
• 系统支持多个纹理贴图，且能保持边界对齐，生成结果尊重物体轮廓与明暗关系。
• 在人工绘制的草图上进行测试，结果对输入质量不完美具有鲁棒性，即使草图质量存在差异，仍能保持高视觉质量。