[论文解读] Single image super-resolution by approximated Heaviside functions

Liang-Jian Deng, Weihong Guo+1 more|arXiv (Cornell University)|Mar 12, 2015

Advanced Image Processing Techniques参考文献 55被引用 3

一句话总结

本文提出一种基于两类近似阶跃函数（AHFs）的连续域图像超分辨率方法，分别建模图像的平滑与非平滑分量。通过采用L1正则化的交替方向乘子法（ADMM）求解迭代模型，并以图像块为单位应用，该方法可在无需学习数据的情况下实现任意放大倍数的高质量重建，在视觉质量与RMSE等定量指标上均优于现有方法。

ABSTRACT

Image super-resolution is a process to enhance image resolution. It is widely used in medical imaging, satellite imaging, target recognition, etc. In this paper, we conduct continuous modeling and assume that the unknown image intensity function is defined on a continuous domain and belongs to a space with a redundant basis. We propose a new iterative model for single image super-resolution based on an observation: an image is consisted of smooth components and non-smooth components, and we use two classes of approximated Heaviside functions (AHFs) to represent them respectively. Due to sparsity of the non-smooth components, a $L_{1}$ model is employed. In addition, we apply the proposed iterative model to image patches to reduce computation and storage. Comparisons with some existing competitive methods show the effectiveness of the proposed method.

研究动机与目标

• 解决仅有一个低分辨率图像时的单图像超分辨率（SISR）挑战，尤其适用于硬件或成本受限的场景。
• 通过在连续域上使用冗余基函数建模图像强度函数，克服离散域模型的局限性。
• 通过两类近似阶跃函数（AHFs）分别表示平滑与非平滑分量，实现对图像细节与边缘的精确保留。
• 通过在图像块而非整幅图像上应用迭代模型，降低计算成本与存储需求。
• 通过引入基于梯度的策略，优化边缘重建，有效抑制平滑区域的振铃伪影。

提出的方法

• 将未知的高分辨率图像强度函数建模为两类近似阶跃函数（AHFs）之和：一类用于平滑分量，另一类用于边缘等非平滑分量。
• 构建一个L1正则化的优化问题，以利用AHF表示中非平滑分量的稀疏性。
• 采用交替方向乘子法（ADMM）高效求解迭代模型，实现向高分辨率重建的收敛。
• 将系数计算过程以图像块为单位应用，显著降低内存占用与计算负载，尤其适用于大尺寸图像。
• 在平滑区域引入图像梯度信息，以抑制大尺度边缘周围的振铃伪影。
• 通过直接将学习到的系数应用于任意目标分辨率，实现任意放大倍数的高分辨率图像重建。

实验结果

研究问题

• RQ1 基于近似阶跃函数的连续域模型能否有效表征单图像超分辨率中平滑与非平滑分量？
• RQ2 在AHF系数上使用L1正则化，相较于传统方法，如何提升边缘与细节的保留效果？
• RQ3 在所提方法中，基于图像块的处理在多大程度上降低了计算成本，同时保持重建质量？
• RQ4 所提方法是否能实现高质量超分辨率，而无需依赖外部训练数据，与大多数基于学习的方法形成对比？
• RQ5 基于梯度的策略在抑制平滑图像区域振铃伪影方面的有效性如何？

主要发现

• 所提方法在测试图像上的平均RMSE为12.08，无论在定量还是定性指标上均优于现有先进方法。
• 结合L1正则化的迭代AHF模型相比非迭代方法，能生成更锐利的边缘并更好地保留图像细节。
• 对于60×60的低分辨率图像，从2倍到9倍的放大倍数下，计算时间始终低于10秒，表明具有良好的可扩展性。
• 该方法对参数变化具有鲁棒性，当λ₁和λ₂分别在10⁻²与10⁻⁶附近调节时，性能下降可忽略不计。
• 图像块处理方式显著降低了内存使用，使大尺寸图像的高效处理成为可能。
• 基于梯度的伪影抑制策略能有效抑制平滑区域的振铃伪影，显著提升视觉质量。