[论文解读] Reference-Conditioned Super-Resolution by Neural Texture Transfer

Zhifei Zhang, Zhaowen Wang+2 more|arXiv (Cornell University)|Apr 10, 2018

Advanced Image Processing Techniques参考文献 27被引用 6

一句话总结

本文提出SRNTT，一种用于参考图像条件超分的端到端深度学习模型，通过神经纹理迁移与相似度图实现内容与纹理的自适应融合，将任意参考图像中的高频纹理细节迁移至低分辨率输入图像。该方法在大倍数超分及参考图像错位或无关的情况下均实现了最先进水平的视觉质量，其有效性通过新构建的CUFED5基准数据集上的大量定量分析与用户研究得到验证。

ABSTRACT

With the recent advancement in deep learning, we have witnessed a great progress in single image super-resolution. However, due to the significant information loss of the image downscaling process, it has become extremely challenging to further advance the state-of-the-art, especially for large upscaling factors. This paper explores a new research direction in super resolution, called reference-conditioned super-resolution, in which a reference image containing desired high-resolution texture details is provided besides the low-resolution image. We focus on transferring the high-resolution texture from reference images to the super-resolution process without the constraint of content similarity between reference and target images, which is a key difference from previous example-based methods. Inspired by recent work on image stylization, we address the problem via neural texture transfer. We design an end-to-end trainable deep model which generates detail enriched results by adaptively fusing the content from the low-resolution image with the texture patterns from the reference image. We create a benchmark dataset for the general research of reference-based super-resolution, which contains reference images paired with low-resolution inputs with varying degrees of similarity. Both objective and subjective evaluations demonstrate the great potential of using reference images as well as the superiority of our results over other state-of-the-art methods.

研究动机与目标

• 为解决传统单图像超分（SISR）在大倍数超分时因下采样导致的信息丢失，难以恢复精细纹理细节的问题。
• 探索超分的新范式——参考图像条件超分，即通过外部参考图像提供高频纹理细节，而无需与目标图像在内容上相似。
• 设计一种深度学习模型，即使参考图像与目标图像无关或存在错位，也能自适应地融合低分辨率图像的内容与参考图像的纹理。
• 构建基准数据集CUFED5，其参考图像在内容、纹理、色彩、光照与视角相似性方面具有多样性，以支持参考图像超分的公平评估与未来研究。

提出的方法

• 所提出的SRNTT模型采用深度神经网络架构，通过条件化于参考图像，联合优化内容重建与纹理迁移。
• 在特征空间中引入相似度图$M^{s}$，以抑制来自参考图像的不相关或无关纹理，尤其在极端情况（如随机噪声或均匀亮度图像）下表现显著。
• 在高层特征表示中执行局部纹理匹配，以识别并从参考图像中迁移相关纹理模式至超分输出。
• 结合感知损失与对抗损失，提升视觉真实感，同时保持结构保真度，使参考图像引导的纹理生成超越SISR方法的极限。
• 网络通过内容损失、感知损失与对抗损失的组合进行端到端训练，参考图像作为条件输入。
• 该方法对参考图像错位与内容不匹配具有鲁棒性，即使参考图像与目标图像无语义关联，仍能实现有效的纹理迁移。

实验结果

研究问题

• RQ1 深度学习模型能否有效将任意参考图像中的高频纹理细节迁移至低分辨率输入图像，即使参考图像在内容上完全无关？
• RQ2 当参考图像与目标图像在内容、纹理、色彩与视角等方面的相似性降低时，参考图像条件超分的性能如何变化？
• RQ3 相似度图$M^{s}$在抑制极端参考图像（如噪声或均匀亮度图像）中的无关纹理方面起到何种作用？
• RQ4 在大倍数超分条件下，SRNTT模型相较于最先进SISR与基于GAN的方法，在视觉质量与纹理合理性方面表现如何？
• RQ5 当参考图像未对齐或不包含匹配结构元素时，参考图像条件超分能在多大程度上提升视觉质量？

主要发现

• SRNTT在4×超分下相比SRCNN、SRGAN、EDSR等SOTA方法展现出更优的视觉质量，尤其在恢复精细纹理细节方面表现突出。
• 用户研究表明，SRNTT在视觉质量评分中获得更高比例的偏好票数，性能随参考图像相似度下降而渐进降低，但在无关参考下仍保持鲁棒性。
• 相似度图$M^{s}$至关重要：当使用随机噪声作为参考时，无$M^{s}$的SRNTT会引入类似噪声的纹理，而SRNTT能有效抑制此类伪影。
• 当使用完美参考（原始高分辨率图像）时，SRNTT生成的细节显著优于所有基线方法，证明其可充分利用高质量参考。
• 即使面对极端参考（如全暗、全亮或随机噪声），SRNTT的视觉质量仍可与最先进GAN方法媲美，充分证明其鲁棒性。
• CUFED5基准数据集支持在五档参考相似度下进行系统性评估，为未来参考图像超分研究奠定基础。