[论文解读] Toward Real-World Single Image Super-Resolution: A New Benchmark and A New Model

Jianrui Cai, Hui Zeng+3 more|arXiv (Cornell University)|Apr 1, 2019

Advanced Image Processing Techniques参考文献 52被引用 52

一句话总结

该论文构建 RealSR，一个真实世界 SISR 数据集，包含在不同焦距下拍摄的对齐的高分辨率与低分辨率图像对，并提出 LP-KPN，是一个拉普拉斯金字塔核预测网络，在现实世界的 SISR 方面比在模拟退化下训练的模型表现更好。

ABSTRACT

Most of the existing learning-based single image superresolution (SISR) methods are trained and evaluated on simulated datasets, where the low-resolution (LR) images are generated by applying a simple and uniform degradation (i.e., bicubic downsampling) to their high-resolution (HR) counterparts. However, the degradations in real-world LR images are far more complicated. As a consequence, the SISR models trained on simulated data become less effective when applied to practical scenarios. In this paper, we build a real-world super-resolution (RealSR) dataset where paired LR-HR images on the same scene are captured by adjusting the focal length of a digital camera. An image registration algorithm is developed to progressively align the image pairs at different resolutions. Considering that the degradation kernels are naturally non-uniform in our dataset, we present a Laplacian pyramid based kernel prediction network (LP-KPN), which efficiently learns per-pixel kernels to recover the HR image. Our extensive experiments demonstrate that SISR models trained on our RealSR dataset deliver better visual quality with sharper edges and finer textures on real-world scenes than those trained on simulated datasets. Though our RealSR dataset is built by using only two cameras (Canon 5D3 and Nikon D810), the trained model generalizes well to other camera devices such as Sony a7II and mobile phones.

研究动机与目标

• 解决真实世界退化与模拟 SISR 训练数据之间的差距。
• 提供一个包含真实世界 ground-truth HR-LR 对的实用数据集。
• 提出一种适用于空间可变退化的高效逐像素核预测模型。
• 在相机间和真实世界图像上的泛化能力进行评估。

提出的方法

• 通过使用两台单反相机在同一场景下以不同焦距拍摄 HR-LR 对来创建 RealSR。
• 开发一个包含亮度调整的像素级图像配准方法以对齐 HR 和 LR 对。
• 引入基于拉普拉斯金字塔的核预测网络（LP-KPN），在多个金字塔层级预测逐像素核。
• 在 RealSR 上训练模型，并与在模拟退化（BD、MD）上训练的模型进行比较。
• 在 RealSR 测试集上对 Y 通道使用 L2 损失，并使用 PSNR/SSIM 进行评估。

实验结果

研究问题

• RQ1 带有真实退化的真实世界 SISR 数据集能否在真实世界图像上改善 SR 性能，相对于在模拟退化数据集上训练的模型？
• RQ2 逐像素核预测方法（LP-KPN）是否在现实世界的空间可变退化中提供效率和准确性的优势？
• RQ3 在 RealSR 上训练的模型在跨相机和对数据集之外的设备（如手机、其他品牌）图像上的泛化情况如何？

主要发现

方法	PSNR_x2	PSNR_x3	PSNR_x4	SSIM_x2	SSIM_x3	SSIM_x4
Bicubic	32.61	29.34	27.99	0.907	0.841	0.806
VDSR	33.64	30.14	28.63	0.917	0.856	0.821
SRResNet	33.69	30.18	28.67	0.919	0.859	0.824
RCAN	33.87	30.40	28.88	0.922	0.862	0.826
DPS	33.71	30.20	28.69	0.919	0.859	0.824
KPN k=5	33.75	30.26	28.74	0.920	0.860	0.826
KPN k=7	33.78	30.29	28.78	0.921	0.861	0.827
KPN k=13	33.83	30.35	28.85	0.923	0.862	0.828
KPN k=19	33.86	30.39	28.90	0.924	0.864	0.830
Our LP-KPN k=5	33.90	30.42	28.92	0.927	0.868	0.834

• 在 RealSR 上训练的模型在 RealSR 的测试中优于在 BD/MD 上训练的模型，PSNR 大约提升 1.0 dB，尺度扩展为 x2，x3 和 x4 时有显著提升。
• LP-KPN 在各尺度上实现了最佳的 PSNR/SSIM，且相比 RCAN 和其他基线具有更低的计算成本。
• LP-KPN 在跨相机测试中的泛化良好，显示与在相机内测试相似的 PSNR 差异（约 0.3 dB）。
• 跨相机结果表明 RealSR 训练的模型在应用到另一种相机类型（佳能↔尼康）时保持性能。
• LP-KPN 的参数量较少（46 层卷积），而 RCAN 超过 400 层，但仍具有竞争性能。