[论文解读] Real-time Image Smoothing via Iterative Least Squares

Wei Liu, Pingping Zhang+4 more|arXiv (Cornell University)|Mar 17, 2020

Image Enhancement Techniques参考文献 42被引用 6

一句话总结

本文提出了一种名为迭代最小二乘法（ILS）的新全局优化方法，用于实时边缘保持图像平滑。通过迭代应用逐点操作和快速傅里叶变换（FFTs），ILS在计算效率方面实现了最先进的平滑质量，能够在GTX 1080 GPU上实现1080p彩色图像20fps的处理速度，同时最小化可见伪影，并支持GPU加速及对多种平滑任务的灵活适应。

ABSTRACT

Edge-preserving image smoothing is a fundamental procedure for many computer vision and graphic applications. There is a tradeoff between the smoothing quality and the processing speed: the high smoothing quality usually requires a high computational cost which leads to the low processing speed. In this paper, we propose a new global optimization based method, named iterative least squares (ILS), for efficient edge-preserving image smoothing. Our approach can produce high-quality results but at a much lower computational cost. Comprehensive experiments demonstrate that the propose method can produce results with little visible artifacts. Moreover, the computation of ILS can be highly parallel, which can be easily accelerated through either multi-thread computing or the GPU hardware. With the acceleration of a GTX 1080 GPU, it is able to process images of 1080p resolution ($1920 imes1080$) at the rate of 20fps for color images and 47fps for gray images. In addition, the ILS is flexible and can be modified to handle more applications that require different smoothing properties. Experimental results of several applications show the effectiveness and efficiency of the proposed method. The code is available at \url{https://github.com/wliusjtu/Real-time-Image-Smoothing-via-Iterative-Least-Squares}

研究动机与目标

• 解决边缘保持图像平滑中高平滑质量与低计算成本之间的权衡问题。
• 开发一种基于全局优化的方法，其平滑质量达到或超过当前最先进水平，同时显著降低处理时间。
• 设计一种计算高度可并行化的算法，适用于多线程和GPU加速。
• 展示该方法在HDR色调映射、纹理平滑和压缩伪影去除等多种应用中的灵活性。
• 为现有基于全局优化的方法（如L0范数和平滑总变差法）提供一种计算高效的替代方案。

提出的方法

• 该方法源自加法半二次规划最小化，将平滑问题重新表述为一种迭代优化框架。
• 每次迭代包含两个主要步骤：使用惩罚函数（如Welsch或Huber）进行逐点处理，以及在频域中进行快速傅里叶变换（FFT）和逆快速傅里叶变换（IFFT）以求解线性系统。
• 算法在空间域中交替更新图像估计值，并在频域中求解正则化最小二乘问题。
• 利用FFT/理想FFT可高效计算全局正则化项，使该方法具有高度可并行性。
• 该方法具有灵活性，可通过修改惩罚函数或正则化参数，适应不同的平滑行为。
• 该过程重复进行少量迭代（例如10–15次）以收敛至高质量的平滑图像。

实验结果

研究问题

• RQ1 基于全局优化的方法能否同时实现高平滑质量与实时性能？
• RQ2 能否在不牺牲边缘保持保真度的前提下，降低全局优化方法的计算复杂度？
• RQ3 该方法能否高效并行化以支持GPU或多核执行？
• RQ4 与L0范数平滑和双边滤波等当前最先进方法相比，所提出的ILS在伪影抑制和速度方面表现如何？
• RQ5 该方法能否扩展至其他需要不同平滑特性的应用，如纹理平滑或压缩伪影去除？

主要发现

• ILS方法在GTX 1080 GPU上实现了1080p彩色图像20fps和灰度图像47fps的处理速度，证明了其具备实时性能。
• 该方法产生的结果伪影极少，其在JPEG压缩伪影去除任务中的伪影抑制效果优于L0范数平滑和FCN方法。
• 在纹理平滑任务中，ILS比相对总变差法（RTV）更好地保留了表面明暗信息，且在结构保持方面优于滚动引导滤波和双边纹理滤波。
• 对于纹理平滑任务，ILS的速度约为双边纹理滤波（BTF）的6倍、RTV的10倍，以及FCN方法的2倍。
• 在压缩伪影去除任务中，ILS的速度约为L0范数平滑的2倍、FCN方法的3倍，且视觉效果更优。
• 通过PSNR和SSIM的定量评估显示，ILS在不同JPEG质量级别下，其性能始终优于或匹配现有竞争方法。