[论文解读] SamplingAug: On the Importance of Patch Sampling Augmentation for Single Image Super-Resolution

Shizun Wang, Ming Lu+5 more|arXiv (Cornell University)|Nov 30, 2021

Advanced Image Processing Techniques参考文献 22被引用 4

一句话总结

本文提出 SamplingAug，一种用于单图像超分辨率（SISR）的数据增强方法，通过采样最具信息量的低分辨率（LR）-高分辨率（HR）图像块对来提升模型性能。与均匀采样不同，该方法基于线性超分辨率与HR图像块之间的PSNR设计启发式度量，并利用积分图像加速，实现约100倍的速度提升。该方法在×2、×3和×4缩放因子下，对EDSR、RCAN、RDN、SRCNN和ESPCN等模型均实现了稳定的PSNR增益。

ABSTRACT

With the development of Deep Neural Networks (DNNs), plenty of methods based on DNNs have been proposed for Single Image Super-Resolution (SISR). However, existing methods mostly train the DNNs on uniformly sampled LR-HR patch pairs, which makes them fail to fully exploit informative patches within the image. In this paper, we present a simple yet effective data augmentation method. We first devise a heuristic metric to evaluate the informative importance of each patch pair. In order to reduce the computational cost for all patch pairs, we further propose to optimize the calculation of our metric by integral image, achieving about two orders of magnitude speedup. The training patch pairs are sampled according to their informative importance with our method. Extensive experiments show our sampling augmentation can consistently improve the convergence and boost the performance of various SISR architectures, including EDSR, RCAN, RDN, SRCNN and ESPCN across different scaling factors (x2, x3, x4). Code is available at https://github.com/littlepure2333/SamplingAug

研究动机与目标

• 为解决SISR中均匀采样策略无法优先选择信息量高的图像块这一局限性。
• 开发一种计算高效的算法，用于识别并采样最具信息量的LR-HR图像块对。
• 在不修改网络架构的前提下，提升SISR模型的收敛速度与性能。
• 探究非重叠采样策略是否相较于贪婪的重叠采样具有优势。

提出的方法

• 提出一种启发式度量，通过线性上采样LR图像块与对应HR图像块之间的PSNR来衡量其信息量重要性。
• 利用积分图像加速度量计算，将计算成本降低约两个数量级。
• 采用三种采样策略：对前p%最具信息量图像块进行贪婪采样、非极大值抑制（NMS）以及投镖（TD）采样，以实现非重叠图像块采样。
• 将采样策略应用于训练图像块的选择，取代标准SISR训练流程中的均匀采样。
• 在多个SISR架构（EDSR、RCAN、RDN、SRCNN、ESPCN）中采用相同的训练协议，以评估方法的泛化能力。
• 在标准基准数据集（DIV2K、Set5、Set14）上，针对×2、×3和×4等多种缩放因子验证该方法。

实验结果

研究问题

• RQ1 通过数据驱动的度量方法优先采样信息量高的图像块对，是否能相比均匀采样显著提升SISR性能？
• RQ2 能否利用积分图像在大规模场景下高效计算一种快速轻量级的图像块重要性度量？
• RQ3 非重叠采样策略（NMS、TD）是否相较于对最优点进行贪婪重叠采样具有性能优势？
• RQ4 与CutBlur和PatchNet等现有数据增强技术相比，所提方法在SISR中的表现如何？
• RQ5 该方法在不同SISR架构和缩放因子下的性能增益是否具有一致性？

主要发现

• 所提出的SamplingAug方法在多个SISR架构中均实现了稳定的PSNR提升，例如在DIV2K数据集上，EDSR在×2缩放因子下PSNR提升+0.12 dB。
• 对最具信息量的前p%图像块进行贪婪采样优于NMS和TD采样，表明重叠且信息量高的图像块更具优势。
• 通过使用积分图像，度量计算速度实现约100倍的提升，使所有图像块对的评估变得高效可行。
• SamplingAug优于CutBlur，尤其在无预训练设置下，CutBlur性能甚至低于基线，而SamplingAug始终能提升性能。
• 该方法在稳定性和性能上均优于PatchNet和OHEM，后者表现出收敛不稳定且增益较低。
• 消融实验表明，所提出的度量方法优于基于边缘的度量（Sobel、Canny、Laplacian），实现了最高的PSNR增益（+0.12 dB）。