[论文解读] Robust Guided Image Filtering

Wei Liu, Xiaogang Chen+4 more|arXiv (Cornell University)|Mar 28, 2017

Advanced Vision and Imaging参考文献 35被引用 9

一句话总结

本文提出鲁棒引导图像滤波（RGIF），一种统一框架，通过在单一优化过程中同时实现目标图像去噪与引导滤波，利用数据项提升抗噪性，并通过结合引导图与目标图像特性的平滑项来处理结构不一致性。该方法在保持边缘的平滑处理、深度图超分、闪光/非闪光图像滤波及伪影去除方面达到最先进性能，有效减少了鬼影、梯度反转和纹理复制现象，同时保留了细微细节。

ABSTRACT

The process of using one image to guide the filtering process of another one is called Guided Image Filtering (GIF). The main challenge of GIF is the structure inconsistency between the guidance image and the target image. Besides, noise in the target image is also a challenging issue especially when it is heavy. In this paper, we propose a general framework for Robust Guided Image Filtering (RGIF), which contains a data term and a smoothness term, to solve the two issues mentioned above. The data term makes our model simultaneously denoise the target image and perform GIF which is robust against the heavy noise. The smoothness term is able to make use of the property of both the guidance image and the target image which is robust against the structure inconsistency. While the resulting model is highly non-convex, it can be solved through the proposed Iteratively Re-weighted Least Squares (IRLS) in an efficient manner. For challenging applications such as guided depth map upsampling, we further develop a data-driven parameter optimization scheme to properly determine the parameter in our model. This optimization scheme can help to preserve small structures and sharp depth edges even for a large upsampling factor (8x for example). Moreover, the specially designed structure of the data term and the smoothness term makes our model perform well in edge-preserving smoothing for single-image tasks (i.e., the guidance image is the target image itself). This paper is an extension of our previous work [1], [2].

研究动机与目标

• 解决引导图像滤波中目标图像存在严重噪声以及引导图与目标图像之间结构不一致性的双重挑战。
• 将去噪与引导滤波统一于单一优化框架中，避免顺序处理导致的性能下降。
• 通过联合平滑项内在建模结构差异，消除对阴影检测等辅助方法的依赖。
• 通过保留边缘的同时平滑噪声与纹理，实现在单图任务中的有效性能。
• 开发数据驱动的参数优化方案，以增强在高倍率超分任务中对微小结构与锐利边缘的保持能力。

提出的方法

• 提出一种非凸优化框架，其数据项联合实现目标图像去噪与引导滤波，提升对噪声的鲁棒性。
• 引入一种平滑项，融合引导图与目标图像的结构特性，降低因结构不一致导致的伪影。
• 采用迭代重加权最小二乘法（IRLS）算法，高效求解高度非凸的优化问题。
• 设计专用的数据项与平滑项结构，以抑制纹理复制与边缘模糊，同时保留细微细节。
• 开发数据驱动的参数优化方案，自动调优模型参数，以在8×深度图超分等高难度任务中实现最优性能。
• 在滤波前应用3×3中值滤波作为预处理步骤，以抑制极锐利的纹理边缘，提升纹理平滑效果。

实验结果

研究问题

• RQ1 统一优化框架是否能比顺序处理方法更有效地同时实现去噪与引导滤波？
• RQ2 如何设计平滑项，以在不依赖外部检测方法的前提下，鲁棒地处理引导图与目标图像之间的结构不一致性？
• RQ3 在高倍率深度图超分中，所提方法在多大程度上能保持微小结构与锐利边缘？
• RQ4 在边缘保持平滑过程中，与最先进方法相比，该方法在避免鬼影与梯度反转方面表现如何？
• RQ5 在单图任务中，该方法能否在实现强噪声与纹理平滑的同时，准确保留结构化边缘？

主要发现

• 所提出的RGIF框架通过数据驱动的参数优化，在引导式深度图超分任务中表现优异，尤其在8×超分时有效保留了精细结构与锐利边缘。
• RGIF在闪光/非闪光图像滤波等应用中显著减少了纹理复制伪影，优于依赖阴影检测或独立处理步骤的方法。
• 在HDR色调映射与JPEG压缩伪影去除任务中，RGIF能有效去除压缩伪影，同时保持边缘锐利，优于梯度L0范数优化与JWMF等方法。
• 在单图边缘保持平滑任务中，RGIF成功避免了鬼影与梯度反转，展现出在噪声或纹理复杂图像上的强大性能。
• 在结构平滑与细节增强任务中，该方法优于先前最先进方法，尤其在重噪声环境下对细微纹理与边缘的保持能力更优。
• 消融实验验证了在单一框架中联合去噪与滤波的性能优于分步处理的去噪与滤波方法。