[论文解读] Super-resolution Using Constrained Deep Texture Synthesis

Libin Sun, James Hays|arXiv (Cornell University)|Jan 26, 2017

Advanced Image Processing Techniques参考文献 46被引用 5

一句话总结

本文提出了一种超分辨率方法，通过利用预训练卷积神经网络（CNN）的Gram矩阵约束进行受控深度纹理生成，以幻觉化高频细节，显著提升了传统方法的视觉质量。通过在特征空间中从参考图像转移纹理统计信息，该方法在保持输入结构的同时实现了更逼真的纹理，尤其在具有复杂纹理的自然场景中表现优异。

ABSTRACT

Hallucinating high frequency image details in single image super-resolution is a challenging task. Traditional super-resolution methods tend to produce oversmoothed output images due to the ambiguity in mapping between low and high resolution patches. We build on recent success in deep learning based texture synthesis and show that this rich feature space can facilitate successful transfer and synthesis of high frequency image details to improve the visual quality of super-resolution results on a wide variety of natural textures and images.

研究动机与目标

• 为解决单图像超分辨率（SISR）中视觉质量差距的问题，即尽管峰值信噪比（PSNR）和结构相似性（SSIM）得分较高，但最先进方法生成的输出仍存在过度平滑的问题。
• 克服传统先验和基于回归的映射方法的局限性，这些方法由于SISR问题的病态性质而抑制了高频细节。
• 探究预训练网络的深层特征空间是否能够实现在SISR中实现逼真纹理的迁移与幻觉，特别是针对自然纹理。
• 研究Gram矩阵约束在将参考图像的纹理统计信息传递到低分辨率输入的同时保持结构一致性的有效性。
• 评估该方法在多种图像类型上的性能，包括自然场景和人脸图像，这些图像的纹理和结构先验存在显著差异。

提出的方法

• 该方法使用预训练的深度卷积神经网络（如VGG）从低分辨率输入和包含所需纹理的参考图像中提取分层特征表示。
• 通过在网络多个层级上最小化输入图像和参考图像特征图之间的Gram矩阵差异，强制实现纹理迁移。
• 通过稀疏块对应关系（使用PatchMatch计算）施加空间约束，以指导局部纹理生成，确保仅在相关区域传递纹理统计信息。
• 优化过程在图像空间中进行，Gram矩阵损失与像素级重建损失相结合，以保持输入结构并避免模式崩溃。
• 该方法支持全局和局部纹理迁移：全局用于均匀纹理，局部则通过掩码优化实现复杂场景中的纹理迁移。
• 使用手动或基于PatchMatch的掩码定义参考图像中的源区域，并应用膨胀操作以减少边界伪影。

实验结果

研究问题

• RQ1 深度特征空间约束（特别是Gram矩阵匹配）是否能有效将逼真的高频纹理迁移到超分辨率图像中？
• RQ2 与传统SISR方法相比，该方法在视觉质量方面表现如何，特别是在自然纹理方面？
• RQ3 该方法在多大程度上能幻觉化训练数据中不存在的新纹理？其在纹理过渡和物体边界处的表现如何？
• RQ4 为何该方法在人脸等结构化内容上表现失败？使用全局统计信息在这些情况下存在哪些局限性？
• RQ5 通过稀疏对应关系实现的局部纹理迁移是否能提升真实感，同时最小化复杂场景中的伪影？

主要发现

• 所提方法在视觉质量上显著优于SRCNN和双三次插值等基线SISR方法，尤其在细纹理和高频细节的幻觉方面表现突出。
• 在具有复杂纹理的自然场景（如树木、水面、植被）中，该方法生成的输出比全局和局部基线方法（包括CNNMRF和SRCNN）更具真实感和细节。
• 尽管PSNR得分并非最高，该方法在感知质量方面优于现有方法，证实仅靠PSNR无法充分评估视觉真实感。
• 对于人脸图像，由于全局统计信息不匹配以及面部特征的结构性，该方法无法有效迁移有意义的细节，而CNNMRF在这些情况下表现更优。
• 由于PatchMatch对应关系质量较差，出现了如振铃效应和错误纹理混合（如在树上叠加水面纹理）等伪影，表明方法对掩码质量敏感。
• 手动创建的掩码可减少低频颜色偏差，但会增加纹理过渡和图像边界附近的振铃伪影，凸显了掩码设计中的权衡。