[论文解读] Towards Ultra-Resolution Neural Style Transfer via Thumbnail Instance Normalization

Zhe Chen, Wenhai Wang+3 more|arXiv (Cornell University)|Mar 22, 2021

Advanced Image Processing Techniques被引用 4

一句话总结

该论文提出URST，一种用于超高分辨率神经风格迁移的新框架。该框架通过将图像划分为图像块并应用新型的缩略图实例归一化（TIN）层，实现对任意分辨率图像（如10000×10000）的处理，从而在图像块间保持风格一致性。该方法在无需微调现有模型的前提下，实现了SOTA性能，相比之前的方法内存使用降低15倍，并通过引入笔触感知损失实现了大笔触效果。

ABSTRACT

We present an extremely simple Ultra-Resolution Style Transfer framework, termed URST, to flexibly process arbitrary high-resolution images (e.g., 10000x10000 pixels) style transfer for the first time. Most of the existing state-of-the-art methods would fall short due to massive memory cost and small stroke size when processing ultra-high resolution images. URST completely avoids the memory problem caused by ultra-high resolution images by (1) dividing the image into small patches and (2) performing patch-wise style transfer with a novel Thumbnail Instance Normalization (TIN). Specifically, TIN can extract thumbnail features' normalization statistics and apply them to small patches, ensuring the style consistency among different patches. Overall, the URST framework has three merits compared to prior arts. (1) We divide input image into small patches and adopt TIN, successfully transferring image style with arbitrary high-resolution. (2) Experiments show that our URST surpasses existing SOTA methods on ultra-high resolution images benefiting from the effectiveness of the proposed stroke perceptual loss in enlarging the stroke size. (3) Our URST can be easily plugged into most existing style transfer methods and directly improve their performance even without training. Code is available at https://git.io/URST.

研究动机与目标

• 解决现有神经风格迁移方法在处理超高分辨率图像时面临的内存限制与笔触过小的问题。
• 通过避免全图处理，在标准GPU上实现任意分辨率风格迁移。
• 在分块处理过程中保持图像各块之间的视觉一致性，该问题在现有分块方法中常被忽视。
• 通过促进更大、更具感知吸引力的笔触，提升超高分辨率输出的风格迁移质量。

提出的方法

• 将超高分辨率内容图像划分为小块、非重叠的图像块，以降低GPU内存消耗。
• 提出缩略图实例归一化（TIN），通过每个图像块的低分辨率缩略图计算归一化统计量（均值与方差），以指导风格迁移。
• 将TIN应用于每个图像块的特征归一化，利用从缩略图中提取的统计量，确保整幅图像风格的一致性。
• 引入笔触感知损失（$\mathcal{L}_{\rm sp}$）作为辅助损失，促使网络学习更大、更稀疏的笔触。
• 采用分块风格迁移流程：分块 → 使用TIN与$\mathcal{L}_{\rm sp}$进行风格迁移 → 将图像块拼接为全分辨率输出。
• 支持与大多数基于实例归一化（IN）或基于实例的归一化（IW）的现有风格迁移模型无缝集成，无需重新训练。

实验结果

研究问题

• RQ1 能否在标准GPU上实现超高分辨率风格迁移，且不超出内存限制？
• RQ2 在分块处理大图像时，如何保持各图像块之间的风格一致性？
• RQ3 能否有效增大风格化输出中的笔触尺寸，以减少高分辨率结果中的密集纹理伪影？
• RQ4 所提出的TIN层能否为高分辨率输入提供稳定且准确的全图实例归一化近似？
• RQ5 笔触感知损失是否能在不修改底层模型架构的前提下提升风格迁移质量？

主要发现

• 与先前SOTA方法（Wang et al., 2020）相比，URST实现了15倍的内存降低，处理10000×10000图像仅需1.94GB GPU内存，而基线方法需30.25GB。
• 该框架仅使用单张12GB GPU的2.5GB显存，成功处理了12000×8000像素（9600万像素）的图像。
• 当缩略图尺寸至少为1024×1024像素时，TIN生成的归一化统计量与全图实例归一化极为接近，确保了高质量的风格迁移效果。
• 笔触感知损失显著增大了笔触尺寸，相比基线方法，生成结果更具自然感与视觉美感。
• URST在不重新训练的前提下，显著提升了多个现有风格迁移模型的性能，展现出强大的泛化能力与即插即用兼容性。
• 该方法生成了高质量的风格化结果，具有大而稀疏的笔触，有效避免了小笔触方法常见的密集纹理伪影。