[论文解读] Solid Texture Synthesis using Generative Adversarial Networks

Xin Zhao, Lin Wang+4 more|arXiv (Cornell University)|Feb 8, 2021

Generative Adversarial Networks and Image Synthesis参考文献 37被引用 4

一句话总结

本文提出 STS-GAN，一种基于生成对抗网络的固态纹理合成方法，通过无特征的体素操作学习二维样本分布。通过采用多尺度判别器比较样本块与生成体素切片，该模型可生成高质量、逼真的三维纹理，且在视觉上与输入样本高度一致。

ABSTRACT

Solid texture synthesis, as an effective way to extend 2D exemplar to a volumetric texture, exhibits advantages in numerous application domains. However, existing methods generally suffer from synthesis distortion due to the under-utilization of information. In this paper, we propose a novel approach for the solid texture synthesis based on generative adversarial networks(GANs), named STS-GAN, learning the distribution of 2D exemplars with volumetric operation in a feature-free manner. The multi-scale discriminators evaluate the similarities between patch exemplars and slices from generated volume, promoting the generator to synthesize realistic solid texture. Experimental results demonstrate that the proposed method can synthesize high-quality solid texture with similar visual characteristics to the exemplar.

研究动机与目标

• 解决现有固态纹理合成方法因样本信息利用不足而导致的合成失真问题。
• 开发一种方法，有效将二维纹理样本扩展为高质量的三维体素纹理，且无需依赖手工设计特征。
• 通过使用多尺度判别器进行对抗训练，提升合成固态纹理的真实感与结构一致性。
• 实现无特征学习二维样本分布，以在三维生成中保留视觉特征。

提出的方法

• 提出 STS-GAN，一种专为从二维样本进行固态纹理合成而设计的生成对抗网络架构。
• 在生成过程中使用体素操作将二维样本转换为三维纹理，以实现空间一致性。
• 实现多尺度判别器，用于评估样本块与从生成体素中提取的切片之间的局部块相似性。
• 通过对抗训练使生成器在多个尺度上生成与真实样本块无法区分的切片，从而欺骗判别器。
• 采用无特征学习策略，直接建模二维样本的分布，而无需中间特征表示。
• 端到端优化生成器与判别器，利用对抗损失提升真实感与结构保真度。

实验结果

研究问题

• RQ1 基于 GAN 的方法是否能有效实现无需依赖手工特征的高质量三维固态纹理合成？
• RQ2 多尺度判别机制如何提升合成体素纹理的真实感与一致性？
• RQ3 体素操作在三维空间中在多大程度上保留了原始二维样本的视觉特征？
• RQ4 无特征学习策略是否在固态纹理合成中优于依赖中间特征工程的方法？

主要发现

• 所提出的 STS-GAN 方法成功生成了视觉质量高、与输入二维样本高度相似的三维纹理。
• 多尺度判别器的使用显著提升了生成纹理切片的真实感，通过强制实现局部块级别的结构一致性。
• 无特征学习方法有效建模了二维样本的分布，减少了合成体素中的失真。
• 实验结果证实，STS-GAN 在保留视觉特征与最小化合成伪影方面优于现有方法。