[论文解读] Progressive Perception-Oriented Network for Single Image Super-Resolution

Hui Zheng, Jie Li+2 more|arXiv (Cornell University)|Jul 24, 2019

Advanced Image Processing Techniques参考文献 50被引用 8

一句话总结

本文提出了一种渐进式感知导向网络（PPON），用于单图像超分辨率，通过内容、结构和真实感重建三个阶段模块逐步提升图像质量。通过顺序训练这些模块并采用多尺度分层特征融合，PPON在降低LPIPS（0.1194）和提高MOS（3.58）的同时，实现了最先进的感知质量，且通过参数冻结减少了训练时间。

ABSTRACT

Recently, it has been demonstrated that deep neural networks can significantly improve the performance of single image super-resolution (SISR). Numerous studies have concentrated on raising the quantitative quality of super-resolved (SR) images. However, these methods that target PSNR maximization usually produce blurred images at large upscaling factor. The introduction of generative adversarial networks (GANs) can mitigate this issue and show impressive results with synthetic high-frequency textures. Nevertheless, these GAN-based approaches always have a tendency to add fake textures and even artifacts to make the SR image of visually higher-resolution. In this paper, we propose a novel perceptual image super-resolution method that progressively generates visually high-quality results by constructing a stage-wise network. Specifically, the first phase concentrates on minimizing pixel-wise error, and the second stage utilizes the features extracted by the previous stage to pursue results with better structural retention. The final stage employs fine structure features distilled by the second phase to produce more realistic results. In this way, we can maintain the pixel, and structural level information in the perceptual image as much as possible. It is useful to note that the proposed method can build three types of images in a feed-forward process. Also, we explore a new generator that adopts multi-scale hierarchical features fusion. Extensive experiments on benchmark datasets show that our approach is superior to the state-of-the-art methods. Code is available at https://github.com/Zheng222/PPON.

研究动机与目标

• 为解决在高倍数超分时PSNR与感知质量之间的权衡问题，特别是在高放大因子下的表现。
• 通过在内容、结构和真实感阶段逐步优化图像质量，缓解基于GAN的SR方法中常见的模糊与伪影问题。
• 通过冻结早期阶段参数并逐步微调感知导向模块，减少训练时间。
• 通过多分支分层特征融合架构，在保持像素级精度的同时提升结构与感知保真度。

提出的方法

• 该方法采用三分支架构：内容重建模块（CRM）用于最小化像素级误差，结构重建模块（SRM）通过结构损失保留结构特征，真实感重建模块（PRM）通过对抗损失与感知损失实现感知真实感。
• 提出一种新型分层特征融合模块（HFFB），利用空洞卷积以多种膨胀率捕捉每个模块内的多尺度特征。
• 通过残差中的残差连接（RRFB）稳定深层网络中的训练过程。
• 采用分步训练策略：在预训练后冻结CRM与SRM，仅微调PRM，且参数更新量极小，从而显著减少训练时间。
• 使用预训练的VGG网络提取感知特征，感知损失在中间特征图上计算，以指导真实纹理的生成。
• 模型在一次前向传播中生成三类图像：低分辨率输入、增强内容图像与最终的真实感输出。

实验结果

研究问题

• RQ1 渐进式、分阶段训练策略是否能在不降低PSNR与SSIM等定量指标的前提下，提升感知图像超分辨率质量？
• RQ2 多尺度分层特征融合在超分图像中如何同时保留纹理与结构细节？
• RQ3 在增量训练中参数冻结在多大程度上可减少训练时间，同时保持性能？
• RQ4 所提方法在感知质量方面是否优于现有基于GAN与PSNR优化的模型，如LPIPS与MOS指标所示？
• RQ5 非参考感知指标（如PI）是否能可靠反映图像质量，还是LPIPS在SR评估中更具鲁棒性？

主要发现

• 在PIRv2验证集上，PPON的LPIPS得分为0.1194，优于ESRGAN（0.1443），并在感知质量上创下新的SOTA纪录。
• PPON的平均意见评分（MOS）为3.58，显著高于ESRGAN（3.23）与CX（2.42），表明其视觉质量更优。
• PPON在PIRv2验证集上保持了较强的定量指标，PSNR为26.20 dB，SSIM为0.6995，实现了感知质量与像素级保真度的平衡。
• 在感知分支中使用192×192感受野时，PPON性能优于ESRGAN，后者受限于计算成本，无法使用如此大的感受野。
• 消融实验表明，更大的训练感受野（192×192）可提升感知质量，且分步训练策略通过减少后期参数更新量，显著降低训练时间。
• 视觉对比显示，尽管ESRGAN在某些情况下LPIPS更低，PPON仍能生成更清晰、更真实的纹理，且伪影更少，优于ESRGAN与EPSR3。