[论文解读] Wavelet Domain Style Transfer for an Effective Perception-distortion Tradeoff in Single Image Super-Resolution

Xin Deng, Ren Yang+2 more|arXiv (Cornell University)|Oct 9, 2019

Advanced Image Processing Techniques参考文献 31被引用 10

一句话总结

该论文提出了一种基于小波域的风格迁移（WDST）方法，用于单图像超分辨率（SISR），通过二维平稳小波变换（SWT）将低频分量（客观质量）与高频分量（感知质量）分离，实现了更优的感知-失真（PD）权衡。该方法通过专用网络增强低频子带，并利用小波域风格迁移提升感知质量，在多个数据集上均优于基于GAN和融合的方法，在PSNR和感知分数方面表现更优。

ABSTRACT

In single image super-resolution (SISR), given a low-resolution (LR) image, one wishes to find a high-resolution (HR) version of it which is both accurate and photo-realistic. Recently, it has been shown that there exists a fundamental tradeoff between low distortion and high perceptual quality, and the generative adversarial network (GAN) is demonstrated to approach the perception-distortion (PD) bound effectively. In this paper, we propose a novel method based on wavelet domain style transfer (WDST), which achieves a better PD tradeoff than the GAN based methods. Specifically, we propose to use 2D stationary wavelet transform (SWT) to decompose one image into low-frequency and high-frequency sub-bands. For the low-frequency sub-band, we improve its objective quality through an enhancement network. For the high-frequency sub-band, we propose to use WDST to effectively improve its perceptual quality. By feat of the perfect reconstruction property of wavelets, these sub-bands can be re-combined to obtain an image which has simultaneously high objective and perceptual quality. The numerical results on various datasets show that our method achieves the best trade-off between the distortion and perceptual quality among the existing state-of-the-art SISR methods.

研究动机与目标

• 为解决单图像超分辨率（SISR）中低失真与高感知质量之间的根本性权衡问题。
• 克服基于GAN的方法的局限性，如训练不稳定和在高频细节合成中产生伪影。
• 通过小波分解分离客观质量与感知质量分量，超越现有图像融合方法。
• 通过解耦客观质量与感知质量的优化，实现灵活的网络架构选择，避免网络插值带来的约束。
• 通过小波域内子带特定的优化，实现优于现有SOTA方法的PD权衡。

提出的方法

• 利用二维平稳小波变换（SWT）将低分辨率输入图像分解为低频与高频子带，利用其完美重构特性。
• 应用专用增强网络提升低频子带的客观质量（如PSNR）。
• 对每个高频子带（LH、HL、HH）执行小波域风格迁移（WDST），在不破坏结构细节的前提下提升感知质量（如NRQM）。
• 基于预训练网络（如VGG）的特征设计感知损失，指导小波域内的风格迁移，确保自然纹理与结构的保留。
• 通过逆向SWT重构最终的高分辨率图像，结合增强后的低频子带与风格化处理的高频子带。
• 通过迭代最小化感知损失函数，优化每个高频子带中的风格迁移，确保内容保真度的同时实现风格迁移。

实验结果

研究问题

• RQ1 小波域分解能否有效分离影响SISR中客观质量的分量与影响感知质量的分量？
• RQ2 对低频子带采用增强策略、对高频子带采用风格迁移策略的独立优化，是否能优于联合优化，实现更优的感知-失真权衡？
• RQ3 与像素域风格迁移相比，小波域风格迁移在超分辨率过程中对结构与纹理细节的保持效果如何？
• RQ4 不同高频子带（LH、HL、HH）在感知质量中的贡献程度如何？是否可实现独立优化？
• RQ5 所提方法是否能在无需稳定对抗训练或相同网络架构的前提下，超越基于GAN和插值的融合方法？

主要发现

• 在PD曲线中，该方法在所有橙点方法中实现了最佳的感知与失真权衡，优于SRGAN-MSE、G–MGBP、PESR、Deng与ESRGAN，在PSNR与NRQM上均表现更优。
• 在DIV2K数据集上，该方法实现了26.56 dB的PSNR与8.5005的NRQM，即使在非最优输入网络下，仍优于Deng（26.46 dB / 8.4452）与ESRGAN（26.44 dB / 8.3034）。
• 消融实验表明，若在任一高频子带上禁用WDST，感知质量（NRQM）将显著下降，其中LH与HL子带影响最大。
• HH子带对感知质量的贡献低于LH与HL，可能因其包含的对角线细节在感知上不那么显著。
• 该方法显著优于简单地对客观质量（如EDSR）与感知质量（如CX）输出进行插值，其在PD曲线中的位置明显低于插值曲线。
• 视觉对比结果表明，该方法能有效保留结构细节（如窗框、桥梁纹理），并避免SRGAN-MSE与Deng方法中常见的噪声与伪影。