[论文解读] Unpaired High-Resolution and Scalable Style Transfer Using Generative Adversarial Networks

Andrej Junginger, Markus Hanselmann+4 more|arXiv (Cornell University)|Oct 10, 2018

Generative Adversarial Networks and Image Synthesis参考文献 2被引用 6

一句话总结

本文提出了一种可扩展的、高分辨率的无配对图像风格迁移方法，通过在重叠的下采样图像子样本上进行训练和推理，而非完整图像，利用生成对抗网络（GAN）实现。该方法可在标准GPU上处理高达5000万像素以上的图像，实现高保真度的风格迁移，同时显著降低峰值内存消耗和训练数据需求，保持局部细节和全局一致性。

ABSTRACT

Neural networks have proven their capabilities by outperforming many other approaches on regression or classification tasks on various kinds of data. Other astonishing results have been achieved using neural nets as data generators, especially in settings of generative adversarial networks (GANs). One special application is the field of image domain translations. Here, the goal is to take an image with a certain style (e.g. a photography) and transform it into another one (e.g. a painting). If such a task is performed for unpaired training examples, the corresponding GAN setting is complex, the neural networks are large, and this leads to a high peak memory consumption during, both, training and evaluation phase. This sets a limit to the highest processable image size. We address this issue by the idea of not processing the whole image at once, but to train and evaluate the domain translation on the level of overlapping image subsamples. This new approach not only enables us to translate high-resolution images that otherwise cannot be processed by the neural network at once, but also allows us to work with comparably small neural networks and with limited hardware resources. Additionally, the number of images required for the training process is significantly reduced. We present high-quality results on images with a total resolution of up to over 50 megapixels and emonstrate that our method helps to preserve local image details while it also keeps global consistency.

研究动机与目标

• 解决在标准硬件上使用GAN进行无配对图像到图像翻译时处理高分辨率图像（例如5000万像素以上）的挑战，该挑战受限于高内存峰值消耗。
• 克服在高分辨率图像翻译任务中，大型神经网络和高内存使用在训练和推理阶段的瓶颈。
• 在小型神经网络和有限硬件资源（如单个桌面GPU）下，实现超高分辨率图像的高质量风格迁移。
• 通过利用重叠的随机子样本，提高训练效率和可扩展性，从而减少所需训练图像的数量。
• 确保在模型未见过完整图像的情况下，翻译后的图像仍能保持局部图像细节和全局结构一致性。

提出的方法

• 在训练和推理阶段，将高分辨率图像划分为固定小尺寸（例如256×256像素）的重叠、随机采样子样本。
• 在这些小尺寸、下采样的子样本上训练GAN生成器和判别器，而非完整图像，从而显著降低峰值内存使用量。
• 采用类似Unit的GAN架构，结合实例归一化和残差块，以确保每个子样本的高质量翻译。
• 将训练好的模型应用于完整图像的重叠子样本，并通过混合策略合并结果，以避免接缝并保持一致性。
• 通过仅在完整图像的子集上进行训练，使模型能够泛化到图像的未见区域，只要关键内容未被排除，就不会出现可见伪影。
• 为每个子样本使用固定感受野，以保持局部细节保真度，同时通过重叠上下文实现全局一致性。

实验结果

研究问题

• RQ1 是否可以在不依赖大规模GPU集群或高端硬件的情况下，有效实现对高分辨率图像（例如5000万像素以上）的无配对图像风格迁移？
• RQ2 在重叠的小尺寸子样本上处理图像是否能降低峰值内存消耗，同时保持高翻译质量？
• RQ3 在仅在小尺寸随机子样本上训练的GAN模型，能在多大程度上泛化到完整高分辨率图像，且不产生可见伪影？
• RQ4 子样本尺寸的选择在多大程度上影响局部图像细节的保留与全局结构一致性的维持？
• RQ5 所提出的方法是否能显著减少所需训练图像的数量，同时保持在高分辨率领域中的性能？

主要发现

• 该方法成功实现了对超过5000万像素图像（例如15,884×3,271像素）的无配对风格迁移，取得了在标准GPU上无法通过完整图像处理实现的高质量结果。
• 在单个Nvidia Quadro GPU上，训练和推理过程约耗时一天，证明了其在消费级硬件上的可行性。
• 即使在训练期间未见过的区域，模型仍能保持精细的局部细节（如纹理、边缘）并维持全局图像一致性。
• 较小的子样本更有利于局部微结构的保留，而较大的子样本则更有利于全局一致性，表明存在可调节的权衡。
• 该方法在多种不同领域中泛化良好，包括风格差异极大的情况（如照片转绘画），未见区域无可见伪影或误译。
• 该方法显著减少了所需训练数据量，因为每个子样本均可作为独立的训练样本，从而提高了数据效率。