[论文解读] TGHop: An Explainable, Efficient and Lightweight Method for Texture Generation

Xuejing Lei, Ganning Zhao+2 more|arXiv (Cornell University)|Jul 8, 2021

Generative Adversarial Networks and Image Synthesis参考文献 47被引用 5

一句话总结

TGHop 提出了一种轻量级、可解释且高效的纹理生成方法，通过逐级子空间学习（基于 PixelHop++）从粗到细地分析和重建纹理块。该方法利用空间 PCA 和分层子空间间的分布匹配，仅用 240 万个参数的小型模型实现了高质量纹理合成，并具备快速推理能力。

ABSTRACT

An explainable, efficient and lightweight method for texture generation, called TGHop (an acronym of Texture Generation PixelHop), is proposed in this work. Although synthesis of visually pleasant texture can be achieved by deep neural networks, the associated models are large in size, difficult to explain in theory, and computationally expensive in training. In contrast, TGHop is small in its model size, mathematically transparent, efficient in training and inference, and able to generate high quality texture. Given an exemplary texture, TGHop first crops many sample patches out of it to form a collection of sample patches called the source. Then, it analyzes pixel statistics of samples from the source and obtains a sequence of fine-to-coarse subspaces for these patches by using the PixelHop++ framework. To generate texture patches with TGHop, we begin with the coarsest subspace, which is called the core, and attempt to generate samples in each subspace by following the distribution of real samples. Finally, texture patches are stitched to form texture images of a large size. It is demonstrated by experimental results that TGHop can generate texture images of superior quality with a small model size and at a fast speed.

研究动机与目标

• 解决基于深度学习的纹理生成方法普遍存在的模型庞大、计算成本高且缺乏理论可解释性的问题。
• 开发一种轻量级且高效的纹理生成框架，在保持高视觉质量的同时具备数学上的透明性。
• 通过减小模型尺寸并避免 GAN 或 CNN 中常见的端到端反向传播，实现快速训练与推理。
• 在先前工作（NITES）的基础上，引入空间 PCA 并系统分析子空间生成过程，以提升生成质量并进一步减小模型尺寸。

提出的方法

• 从给定的样本纹理中裁剪出大量小块，构成用于分析的源数据集。
• 应用 PixelHop++ 框架，通过分析像素统计并逐级进行降维，提取一系列从精细到粗糙的子空间。
• 使用空间主成分分析（PCA）对空间响应去相关并减少冗余，从而实现模型压缩。
• 从最粗粒度的子空间（核心）开始生成样本，通过带有 ICHM 模块的核心模型匹配真实样本的分布。
• 通过反向子空间变换路径，逐步从粗到细地提高空间分辨率，实现高分辨率块的重建。
• 利用重叠区域和混合技术将生成的纹理块拼接成大规模纹理图像，以最小化接缝痕迹。

实验结果

研究问题

• RQ1 能否在不依赖大型深度神经网络的前提下，设计出一种轻量级且可解释的纹理生成方法？
• RQ2 通过 PixelHop++ 实现的逐级子空间学习，如何提升纹理合成的质量与模型效率？
• RQ3 与先前方法相比，空间 PCA 对模型尺寸与生成质量的影响如何？
• RQ4 所提方法能否在远少于现有 GAN 或 CNN 方法参数量的前提下，实现具有竞争力的纹理质量？
• RQ5 SDR 中的阈值参数 γ 如何影响模型尺寸与纹理保真度之间的权衡？

主要发现

• TGHop 仅使用 240 万个参数，便实现了显著优于同类方法的纹理质量，远小于 [19]（85.2 万个参数）和 [24]（205.5 万个参数）等方法。
• 通过调节 SDR 阈值 γ，模型参数量可从 372 万个（γ=0）降至 19 万个（γ=0.1），且在 γ≤0.04 时纹理质量几乎无退化。
• 与缺乏该组件的先前 NITES 方法相比，TGHop 中引入的空间 PCA 显著减小了模型尺寸并提升了纹理质量。
• 实验表明，使用 N=50 个聚类会导致过饱和伪影，而 N=100–200 时生成质量更优，且在 N>100 后收益递减。
• 该方法能快速生成高质量纹理块，得益于无反向传播与轻量级架构，展现出极快的推理速度。
• 视觉结果证实，TGHop 能有效保持感知上的纹理规律性，避免了传统基于块的合成方法中常见的重复性图案。