[论文解读] RAISR: Rapid and Accurate Image Super Resolution

Yaniv Romano, John Isidoro+1 more|arXiv (Cornell University)|Jun 3, 2016

Advanced Image Processing Techniques参考文献 42被引用 6

一句话总结

RAISR 提出了一种快速、低复杂度的图像超分辨率方法，通过基于局部梯度统计的哈希机制选择预学习的、内容自适应的滤波器。该方法在运行时速度比领先方法快100倍以上的同时，实现了最先进水平的图像质量，并通过一种新颖的基于CT描述符的混合策略实现了无伪影锐化。

ABSTRACT

Given an image, we wish to produce an image of larger size with significantly more pixels and higher image quality. This is generally known as the Single Image Super-Resolution (SISR) problem. The idea is that with sufficient training data (corresponding pairs of low and high resolution images) we can learn set of filters (i.e. a mapping) that when applied to given image that is not in the training set, will produce a higher resolution version of it, where the learning is preferably low complexity. In our proposed approach, the run-time is more than one to two orders of magnitude faster than the best competing methods currently available, while producing results comparable or better than state-of-the-art. A closely related topic is image sharpening and contrast enhancement, i.e., improving the visual quality of a blurry image by amplifying the underlying details (a wide range of frequencies). Our approach additionally includes an extremely efficient way to produce an image that is significantly sharper than the input blurry one, without introducing artifacts such as halos and noise amplification. We illustrate how this effective sharpening algorithm, in addition to being of independent interest, can be used as a pre-processing step to induce the learning of more effective upscaling filters with built-in sharpening and contrast enhancement effect.

研究动机与目标

• 开发一种显著快于现有最先进技术的超分辨率方法，同时保持或提升图像质量。
• 通过用快速哈希滤波器选择机制替代昂贵的稀疏编码或深度学习方法，降低图像缩放的计算复杂度。
• 在超分辨率过程中直接集成有效的锐化和对比度增强，而不会引入光晕或噪声放大。
• 实现适用于移动设备和交互式应用的实时或近实时图像缩放。
• 设计一种框架，学习能够一步完成去混叠、锐化和增强细节的滤波器。

提出的方法

• RAISR 使用低分辨率-高分辨率图像块对数据库，预先学习一组滤波器，每个聚类对应一组具有相似局部梯度统计特性的图像块。
• 哈希机制根据基于梯度的描述符（CT描述符）将每个低分辨率图像块映射到一个聚类，实现常数时间的滤波器查找，而非线性搜索。
• 该方法对每个图像块应用所选的预学习滤波器，以增强细节和锐度，优于基线的双线性上采样。
• 最终的混合步骤使用基于CT的掩码将双线性上采样结果与滤波结果结合，以抑制伪影，尤其是在平坦区域。
• 混合机制使用随机掩码或CT描述符中的比特变化次数，来决定在何处优先采用滤波结果或原始估计。
• 训练过程包括对高分辨率图像进行锐化预处理，对低分辨率图像进行压缩处理，以将去混叠和对比度增强嵌入滤波器中。

实验结果

研究问题

• RQ1 超分辨率方法能否在计算成本降低数个数量级的情况下，实现接近最先进水平的图像质量？
• RQ2 基于哈希的滤波器选择机制能否在保持精度的同时替代昂贵的稀疏编码或深度学习方法？
• RQ3 一组单一滤波器能否同时实现去混叠、锐化和对比度增强，且不引入伪影？
• RQ4 基于CT的混合策略在抑制伪影的同时保留精细细节方面的有效性如何？
• RQ5 该框架能否扩展为适用于任意输入图像的增强机制，而不仅限于双线性上采样？

主要发现

• 尽管运行时速度比A+和SRCNN等最先进方法快100倍以上，RAISR的超分辨率结果仍可与之媲美或更优。
• 通过使用哈希机制实现滤波器查找的常数时间复杂度，将每块的计算复杂度从线性降低到常数，显著优于基于字典的方法（如A+）的速度。
• 基于CT的混合策略通过在平坦区域优先采用双线性上采样、在纹理或边缘区域优先采用滤波结果，实现了无伪影的结果。
• 通过锐化和压缩对训练图像进行预处理，使得滤波器本身具备去混叠和对比度增强能力，从而无需后处理。
• 该方法在自然图像和文本图像上均表现出色，内存占用极少，且每幅图像的额外计算成本仅为2–3个线性滤波器。
• 在后处理中应用迭代反投影步骤可进一步通过与原始低分辨率图像保持一致性来提高重建精度。