[论文解读] Perception-Oriented Single Image Super-Resolution using Optimal Objective Estimation

Seung-Ho Park, Young Su Moon+1 more|arXiv (Cornell University)|Nov 24, 2022

Advanced Image Processing Techniques被引用 5

一句话总结

本文提出SROOE，一种面向感知的单图像超分辨率框架，通过动态估计区域特定的最优目标图，实现高分辨率图像重建。通过在学习到的目标轨迹上训练生成模型，并利用预测模型推断图像各区域的最优损失权重，SROOE在感知质量（LPIPS、DISTS）和失真度量（PSNR、SSIM）方面均达到最先进性能，在五个基准测试中表现优于现有方法，结构保真度更高，伪影更少。

ABSTRACT

Single-image super-resolution (SISR) networks trained with perceptual and adversarial losses provide high-contrast outputs compared to those of networks trained with distortion-oriented losses, such as L1 or L2. However, it has been shown that using a single perceptual loss is insufficient for accurately restoring locally varying diverse shapes in images, often generating undesirable artifacts or unnatural details. For this reason, combinations of various losses, such as perceptual, adversarial, and distortion losses, have been attempted, yet it remains challenging to find optimal combinations. Hence, in this paper, we propose a new SISR framework that applies optimal objectives for each region to generate plausible results in overall areas of high-resolution outputs. Specifically, the framework comprises two models: a predictive model that infers an optimal objective map for a given low-resolution (LR) input and a generative model that applies a target objective map to produce the corresponding SR output. The generative model is trained over our proposed objective trajectory representing a set of essential objectives, which enables the single network to learn various SR results corresponding to combined losses on the trajectory. The predictive model is trained using pairs of LR images and corresponding optimal objective maps searched from the objective trajectory. Experimental results on five benchmarks show that the proposed method outperforms state-of-the-art perception-driven SR methods in LPIPS, DISTS, PSNR, and SSIM metrics. The visual results also demonstrate the superiority of our method in perception-oriented reconstruction. The code and models are available at https://github.com/seungho-snu/SROOE.

研究动机与目标

• 为解决固定感知损失和对抗损失在单图像超分辨率中生成不自然细节和结构失真的局限性。
• 克服在不同图像区域中寻找最优损失组合的挑战，尤其是在形状局部变化明显的区域。
• 实现单一生成器在无需高维权重空间优化的情况下学习多种连续可变目标。
• 通过区域自适应目标估计，同时提升感知质量和失真度量。
• 在高分辨率图像重建中减少伪影并增强结构保真度。

提出的方法

• 该框架由两个模型组成：一个预测模型，用于推断给定低分辨率输入的最优目标图；一个生成模型，通过应用区域特定的目标生成超分辨率输出。
• 生成模型在连接关键损失组合的一维目标轨迹上进行训练，以轨迹追踪替代复杂的高维权重向量优化。
• 目标轨迹通过连接在不同视觉层次上有效的损失组合构建，从低对比度到高对比度设置逐步延伸。
• 通过沿轨迹进行网格搜索获得训练用的最优目标图，形成配对的低分辨率图像与对应最优图。
• 在生成器中使用空间特征变换（SFT）层，根据目标图自适应调制特征。
• 预测模型训练目标为将低分辨率输入映射到最优目标图，实现图像各区域的局部优化。

实验结果

研究问题

• RQ1 区域特定的目标加权是否能提升单图像超分辨率中的感知质量并减少伪影？
• RQ2 如何有效训练单一生成模型，以处理不同图像区域中连续变化的损失目标？
• RQ3 与高维损失权重优化相比，使用一维目标轨迹有何影响？
• RQ4 最优目标估计在多大程度上能同时改善感知质量和失真度量？
• RQ5 与最先进感知驱动的单图像超分辨率方法相比，该方法在结构保真度和视觉质量方面表现如何？

主要发现

• 在DIV2K基准测试中，SROOE取得最佳PSNR（27.07）和SSIM（0.7982），优于所有对比的最先进方法。
• 在Urban100数据集上，SROOE实现PSNR 26.74和LPIPS 0.0960，两项指标均排名第一。
• 在DIV2K上，SROOE的DISTS得分为0.0875，显著低于对比方法，表明其感知质量更优。
• SROOE在DIV2K上保持了高达49.76的LR-PSNR，表明与低分辨率输入高度一致，失真更小。
• 视觉对比显示，与SRGAN、ESRGAN和RankSRGAN相比，SROOE生成的边缘更清晰，结构更准确，伪影更少。
• 消融实验表明，采用P1234轨迹和DF2K训练的完整SROOE相比基线方法，PSNR提升0.25 dB，LPIPS降低0.0051。