[论文解读] Transposer: Universal Texture Synthesis Using Feature Maps as Transposed Convolution Filter

Guilin Liu, Rohan Taori+7 more|arXiv (Cornell University)|Jul 14, 2020

Generative Adversarial Networks and Image Synthesis参考文献 48被引用 6

一句话总结

本文提出 Transposer，一种通用的纹理合成方法，该方法将纹理的编码特征图作为转置卷积的滤波器，并将其自相似性图作为输入。通过利用转置卷积实现全局、结构感知的合成，该方法在未见过的纹理上实现了单次前向传播推理的最先进性能，实现了无需微调的快速、多样化且可扩展的生成。

ABSTRACT

Conventional CNNs for texture synthesis consist of a sequence of (de)-convolution and up/down-sampling layers, where each layer operates locally and lacks the ability to capture the long-term structural dependency required by texture synthesis. Thus, they often simply enlarge the input texture, rather than perform reasonable synthesis. As a compromise, many recent methods sacrifice generalizability by training and testing on the same single (or fixed set of) texture image(s), resulting in huge re-training time costs for unseen images. In this work, based on the discovery that the assembling/stitching operation in traditional texture synthesis is analogous to a transposed convolution operation, we propose a novel way of using transposed convolution operation. Specifically, we directly treat the whole encoded feature map of the input texture as transposed convolution filters and the features' self-similarity map, which captures the auto-correlation information, as input to the transposed convolution. Such a design allows our framework, once trained, to be generalizable to perform synthesis of unseen textures with a single forward pass in nearly real-time. Our method achieves state-of-the-art texture synthesis quality based on various metrics. While self-similarity helps preserve the input textures' regular structural patterns, our framework can also take random noise maps for irregular input textures instead of self-similarity maps as transposed convolution inputs. It allows to get more diverse results as well as generate arbitrarily large texture outputs by directly sampling large noise maps in a single pass as well.

研究动机与目标

• 为解决现有基于深度学习的纹理合成方法在泛化能力方面的不足，这些方法需为每种新纹理重新训练。
• 克服传统 CNN 中局部操作的局限性，这些操作无法捕捉纹理合成所必需的长程结构依赖关系。
• 实现在无需微调的前提下，对任意未见过的纹理实现快速、单次前向传播推理，达到实时性能。
• 探索使用自相似性图（结构保真度）与使用随机噪声图（输出多样性）之间的权衡。
• 提供一个统一的框架，能够泛化于规则与非规则纹理，并支持任意输出尺寸。

提出的方法

• 该方法将输入纹理的编码特征图用作转置卷积的滤波器，以固定的内容特定滤波器替代可学习滤波器。
• 从编码特征中计算自相似性图，以捕捉纹理内部的自相关性和空间关系。
• 自相似性图作为转置卷积的输入，实现全局、结构感知的特征传播。
• 为实现多样化输出，使用随机噪声图替代自相似性图作为输入，从而实现随机生成。
• 通过在单次前向传播中直接采样大尺寸噪声图，该框架支持任意输出尺寸。
• 该方法在多尺度特征空间中运行，支持多尺度纹理组合。

实验结果

研究问题

• RQ1 基于深度学习的纹理合成方法是否能在不重新训练的前提下泛化到未见过的纹理？
• RQ2 转置卷积是否可以被重新利用，以特征图作为滤波器，实现全局、结构感知的纹理合成？
• RQ3 与使用随机噪声图相比，使用自相似性图作为输入在结构保真度和输出多样性方面有何差异？
• RQ4 该方法是否能通过单次前向传播生成任意大小的纹理输出？
• RQ5 该方法在处理稀疏或高度非平稳纹理时存在哪些局限性？

主要发现

• Transposer 在多种指标下均实现了最先进的纹理合成质量，包括标准指标和自定义设计的指标。
• 该方法在每次前向传播中可在数十至数百毫秒内生成比输入大 4 倍的纹理，显著快于基于优化的方法。
• 使用自相似性图可保留规则的结构模式，而使用随机噪声图则可实现多样化结果，并支持任意大小的输出生成。
• 消融实验表明，使用可学习滤波器的传统转置卷积层无法泛化，仅会简单放大输入，而 Transposer 实现了结构感知的合成。
• 该方法在速度和质量上均优于现有方法（如 pix2pixHD、WCT、SinGAN 和 DeepTexture），推理时间快了数个数量级。
• 在稀疏或细长结构的纹理上会出现失败案例，表明其在捕捉方向性或非平稳模式方面存在局限，提示未来改进空间。