[论文解读] Non-Stationary Texture Synthesis by Adversarial Expansion

Yang Zhou, Zhen Zhu+4 more|arXiv (Cornell University)|May 11, 2018

Generative Adversarial Networks and Image Synthesis参考文献 38被引用 25

一句话总结

本文提出一种基于生成对抗网络（GAN）的非平稳纹理合成方法，通过训练一个全卷积生成器，对抗性地将小块纹理从样本图像扩展至两倍大小，同时保留大尺度结构和空间变化特征。该方法成功合成出复杂且非重复的纹理（如木纹环、叶脉和拼贴图案），而以往方法因输出具有平稳性或周期性而失败。

ABSTRACT

The real world exhibits an abundance of non-stationary textures. Examples include textures with large-scale structures, as well as spatially variant and inhomogeneous textures. While existing example-based texture synthesis methods can cope well with stationary textures, non-stationary textures still pose a considerable challenge, which remains unresolved. In this paper, we propose a new approach for example-based non-stationary texture synthesis. Our approach uses a generative adversarial network (GAN), trained to double the spatial extent of texture blocks extracted from a specific texture exemplar. Once trained, the fully convolutional generator is able to expand the size of the entire exemplar, as well as of any of its sub-blocks. We demonstrate that this conceptually simple approach is highly effective for capturing large-scale structures, as well as other non-stationary attributes of the input exemplar. As a result, it can cope with challenging textures, which, to our knowledge, no other existing method can handle.

研究动机与目标

• 解决合成具有大尺度结构和空间变化属性（如方向、尺度和颜色）的非平稳纹理的挑战。
• 克服现有基于样本的纹理合成方法的局限性，这些方法在处理非平稳样本时常产生平稳或周期性结果。
• 开发一种方法，学习生成超越输入样本的新颖、结构一致的纹理内容，而非仅重复或增强现有图案。
• 通过每个样本仅训练一个生成器，实现快速、前馈式纹理合成，支持可控的尺寸与多样性。
• 通过将训练好的生成器应用于外部引导图像，支持纹理迁移，使生成结果能够遵循输入中的大尺度结构。

提出的方法

• 训练一个生成对抗网络（GAN），将给定样本中的小块纹理（例如 64×64）扩展为更大的块（例如 128×128），实现空间范围的加倍。
• 生成器通过最小化与判别器之间的对抗损失，学习生成视觉上合理的扩展结果，该判别器被训练以区分真实大块与生成的大块。
• 训练过程为自监督：从样本中采样真实的大块，生成器则从同一样本中生成小块的扩展结果。
• 全卷积生成器支持通过单次前向传播实现快速推理，可生成最大为原始尺寸两倍的纹理。
• 通过将生成器的输出递归地反馈回自身，实现多尺度扩展，生成更大尺寸的纹理。
• 通过将训练好的生成器输入外部图像（如草图、噪声或真实图像），实现纹理迁移，使输出能够遵循输入中的大尺度结构。

实验结果

研究问题

• RQ1 基于 GAN 的方法能否有效合成现有方法难以捕捉的、具有大尺度结构和空间变化属性的非平稳纹理？
• RQ2 在局部块扩展训练下，生成器在多大程度上能再现并扩展全局模式（如同心木纹环或分叉叶脉）？
• RQ3 同一训练好的生成器在多大程度上能泛化至纹理迁移任务，生成结果能跟随引导图像中的大尺度结构？
• RQ4 该方法在处理训练块中代表性不足的稀有或孤立结构（如向日葵中心点）时存在哪些局限性？
• RQ5 该方法能否在生成新且非冗余的纹理元素（输入中未出现的）时避免伪影和重复？

主要发现

• 所提方法成功合成出高度非平稳的纹理（如木纹环、叶脉和拼贴图案），而所有最先进基线方法均失败，产生平稳或周期性结果。
• 生成器生成了新的纹理元素（如额外的叶脉、羽毛或瓷砖），未重复原始输入内容，同时保持了尺度和间距的一致性，并引入了新颖内容。
• 结果表明，对大尺度结构（如木材中的同心环和向日葵中的辐射图案）具有忠实再现能力，这些结构对视觉合理性至关重要。
• 通过将生成器应用于草图或 Perlin 噪声等外部输入，实现了纹理迁移，生成了能跟随输入大尺度布局的合理纹理。
• 在边界和角落区域出现伪影，可能由于训练样本较少及卷积填充效应所致，表明对边缘区域较为敏感。
• 当大尺度结构（如明显分隔的瓷砖或中心孤立点）在训练块中代表性不足时，会出现失败案例，凸显了对更丰富数据或多纹理训练的需求。