[论文解读] Sparse Norm Filtering

Chengxi Ye, Dacheng Tao+3 more|arXiv (Cornell University)|May 17, 2013

Image Enhancement Techniques参考文献 19被引用 3

一句话总结

本文提出了一种新型高效的图像滤波框架——稀疏范数滤波器（SNF），通过使用 l^p 范数（p=0,1,2）将边缘保持平滑建模为稀疏优化问题。SNF 实现了无耀斑效果，计算成本与双边滤波相当，并通过基于非局部稀疏范数的加权机制，实现了去模糊、去噪、分割和无缝编辑等高质量应用。

ABSTRACT

Optimization-based filtering smoothes an image by minimizing a fidelity function and simultaneously preserves edges by exploiting a sparse norm penalty over gradients. It has obtained promising performance in practical problems, such as detail manipulation, HDR compression and deblurring, and thus has received increasing attentions in fields of graphics, computer vision and image processing. This paper derives a new type of image filter called sparse norm filter (SNF) from optimization-based filtering. SNF has a very simple form, introduces a general class of filtering techniques, and explains several classic filters as special implementations of SNF, e.g. the averaging filter and the median filter. It has advantages of being halo free, easy to implement, and low time and memory costs (comparable to those of the bilateral filter). Thus, it is more generic than a smoothing operator and can better adapt to different tasks. We validate the proposed SNF by a wide variety of applications including edge-preserving smoothing, outlier tolerant filtering, detail manipulation, HDR compression, non-blind deconvolution, image segmentation, and colorization.

研究动机与目标

• 开发一种统一且高效的边缘保持图像滤波框架，以克服现有方法的局限性。
• 通过引入稀疏范数惩罚项，解决双边滤波等加权平均滤波器中常见的耀斑效应。
• 在计算效率上达到与双边滤波相当的水平，同时支持更广泛的滤波任务。
• 将经典滤波器（如均值滤波、中值滤波）统一为一般稀疏范数滤波框架的特例。
• 通过 SNF 的快速单遍计算，加速复杂视觉流水线（如归一化割和泊松编辑）。

提出的方法

• 将图像滤波建模为最小化包含数据保真项和梯度上稀疏范数惩罚项的代价函数，使用 l^p 范数（p=0,1,2）进行正则化。
• 采用非局部邻域结构，其中每个像素的输出通过最小化其与所有邻居的偏差来确定，加权方式基于稀疏范数惩罚。
• 使用梯度下降算法高效求解优化问题，大多数应用中收敛迭代次数少于 10 次。
• 利用盒滤波和积分图像加速邻域求和计算，实现与邻域大小无关的常数时间滤波。
• 通过使用引导图像计算权重，将框架扩展至联合滤波，支持闪光/无闪光去噪和彩色化等应用。
• 对 l^2 范数应用以求解泊松方程，通过非局部梯度扩散实现无缝图像编辑，替代低效的线性系统求解。

实验结果

研究问题

• RQ1 能否设计一种统一的滤波框架，通过稀疏范数优化将均值滤波、中值滤波等经典滤波器统一为特例？
• RQ2 稀疏范数滤波能否在保持加权平均滤波器效率的同时，实现与基于优化的滤波器相当的无耀斑效果？
• RQ3 SNF 框架如何加速归一化割和基于泊松的图像编辑等计算密集型任务？
• RQ4 l^p 范数（p=0,1,2）在多大程度上可用于建模去噪、去模糊和分割等不同图像处理任务？
• RQ5 SNF 能否在联合滤波场景（如闪光/无闪光去噪、彩色化）中实现高效应用，且计算开销极低？

主要发现

• SNF 框架在边缘保持平滑中实现了无耀斑效果，视觉质量优于传统加权平均滤波器（如双边滤波）。
• SNF 实现了与双边滤波相当的计算效率，在 C++ 中每兆像素耗时 0.01 秒，在 Matlab 中为 0.04 秒。
• 通过用快速 SNF 滤波替代低效的矩阵乘法，SNF 将归一化割的计算速度提升了 10 倍至 100 倍，具体取决于邻域半径。
• 在闪光/无闪光去噪中，p=0.2 且 r=11 的联合 SNF 有效去除了噪声并保留了细节，如图 8 所示。
• 在无缝编辑中，基于 SNF 的泊松求解器在 10 次迭代内收敛，结果在视觉上与原始泊松方法无法区分，但速度提升 3 倍。
• 在彩色化任务中，使用 p=0.1 且 r=1/4 图像高度的 SNF 方法在 10 次迭代内即实现高质量结果，效果匹配或超越先前工作（图 10）。