[论文解读] Towards Real Scene Super-Resolution with Raw Images

Xiangyu Xu, Yongrui Ma+1 more|arXiv (Cornell University)|May 29, 2019

Advanced Image Processing Techniques参考文献 32被引用 6

一句话总结

本文提出了一种新颖的超分辨率框架，利用原始图像数据和逼真的数据生成流程，以提升真实世界图像上的性能。通过模拟相机成像过程，并使用双分支卷积神经网络来利用原始辐射度信息并学习空间可变的颜色校正，该方法在真实拍摄图像上实现了优于现有方法的细节恢复和色彩保真度。

ABSTRACT

Most existing super-resolution methods do not perform well in real scenarios due to lack of realistic training data and information loss of the model input. To solve the first problem, we propose a new pipeline to generate realistic training data by simulating the imaging process of digital cameras. And to remedy the information loss of the input, we develop a dual convolutional neural network to exploit the originally captured radiance information in raw images. In addition, we propose to learn a spatially-variant color transformation which helps more effective color corrections. Extensive experiments demonstrate that super-resolution with raw data helps recover fine details and clear structures, and more importantly, the proposed network and data generation pipeline achieve superior results for single image super-resolution in real scenarios.

研究动机与目标

• 为了解决现有超分辨率方法在真实拍摄图像上表现不佳的问题，原因在于训练数据不真实以及处理后输入的信息损失。
• 通过模拟完整的相机成像流程，包括线性原始空间中的可变模糊核和异方差噪声，生成更逼真的低分辨率训练数据。
• 利用原始图像中更高的动态范围和线性辐射度信息，以恢复更精细的细节和更清晰的结构。
• 开发一种可泛化的模型，通过使用参考色彩图像学习空间可变的颜色变换，使其适用于不同相机。
• 实现在无需相机特定训练的情况下，对真实世界图像实现有效的超分辨率。

提出的方法

• 一种数据生成流程模拟了完整的数码相机成像过程，通过在原始线性数据上应用可变模糊核和异方差高斯噪声，生成逼真的低分辨率训练样本。
• 提出一种双分支卷积神经网络：一个分支从原始输入中恢复高分辨率线性测量值，另一个分支利用参考低分辨率彩色图像估计空间可变的颜色变换。
• 在编码器-解码器架构中使用密集连接的卷积层，以捕捉多尺度特征用于图像恢复。
• 颜色校正分支学习像素级变换矩阵以校正颜色，避免全局变换带来的伪影，从而实现更好的色彩保真度。
• 通过两个分支之间的特征融合，结合原始数据的结构细节与参考图像的颜色准确性，增强模型预测准确、无伪影结果的能力。
• 该模型在由所提流程生成的合成数据上进行端到端训练，并在未见过的相机拍摄的真实图像上进行评估。

实验结果

研究问题

• RQ1 通过模拟相机成像过程生成的逼真训练数据，是否能提升真实拍摄图像上的超分辨率性能？
• RQ2 在超分辨率中利用原始辐射度信息，是否相比使用处理后的RGB图像能实现更好的细节恢复？
• RQ3 一种联合使用原始图像和参考彩色图像的双分支CNN架构，是否能在不同相机型号和ISP处理流程中实现良好泛化？
• RQ4 与全局颜色变换相比，空间可变颜色校正在减少颜色伪影方面是否更有效？
• RQ5 所提方法是否能在无需相机特定适配的情况下，实现在真实世界图像上的优越性能？

主要发现

• 所提出的生成数据流程在将现有超分辨率模型（如RDN）在合成数据上微调后，显著提升了其在真实图像上的表现，使结果更加清晰锐利。
• 使用原始数据使模型能够恢复比标准RGB超分辨率更精细的细节和更清晰的结构，真实拍摄图像的定性对比结果已证实这一点。
• 结合空间可变颜色校正的双分支CNN架构，在色彩保真度和伪影减少方面优于仅使用全局颜色校正或仅使用原始输入的模型。
• 消融实验表明，若移除原始输入、颜色校正分支或特征融合模块，将导致细节恢复和色彩准确性显著下降。
• 该模型在多种相机和ISP系统（包括佳能、索尼、尼康和徕卡）上均表现出良好的泛化能力，即使训练数据来自不同来源（如Dcraw和人工润色的MIT-Adobe 5K图像）也适用。
• 在未见过的相机拍摄的真实图像上，所提方法在视觉质量方面优于基线模型，表现出更锐利的边缘和更准确的色彩还原。