[论文解读] Zero-order Reverse Filtering

Xin Tao, Chao Zhou+3 more|arXiv (Cornell University)|Apr 13, 2017

Image and Signal Denoising Methods参考文献 22被引用 4

一句话总结

本文提出一种零阶逆向滤波方法，通过在度量空间中将滤波建模为压缩映射，从未知的黑箱滤波器中重建原始图像。利用定点迭代，该方法能高效逆转多种局部与全局滤波器（包括高斯、双边、BM3D及商业修图工具），在不掌握滤波器先验知识的情况下实现高保真度恢复，即使在JPEG压缩下也表现良好。

ABSTRACT

In this paper, we study an unconventional but practically meaningful reversibility problem of commonly used image filters. We broadly define filters as operations to smooth images or to produce layers via global or local algorithms. And we raise the intriguingly problem if they are reservable to the status before filtering. To answer it, we present a novel strategy to understand general filter via contraction mappings on a metric space. A very simple yet effective zero-order algorithm is proposed. It is able to practically reverse most filters with low computational cost. We present quite a few experiments in the paper and supplementary file to thoroughly verify its performance. This method can also be generalized to solve other inverse problems and enables new applications.

研究动机与目标

• 解决在不了解滤波器形式或参数的情况下逆向处理图像滤波这一非传统问题。
• 实现对消费级软件（如Photoshop和移动应用）中使用的黑箱滤波器的实际图像恢复。
• 开发一种通用、低复杂度的方法，适用于多种滤波器，包括非线性和基于优化的滤波器。
• 展示该方法在去模糊和去噪之外的应用，如超分辨率以及伽马校正或锐化处理的逆向恢复。
• 基于度量空间中的压缩映射理论，为可逆性提供理论基础。

提出的方法

• 将图像滤波建模为度量空间上的压缩映射，其中滤波器将图像映射为更平滑的版本。
• 定义两个子空间：Ω（滤波器为严格压缩映射的区域）和Π̄（滤波器不为严格压缩映射的区域），从而在Ω中提供理论保证。
• 使用定点迭代：x_{k+1} = T(x_k)，其中T为滤波器，通过迭代逐步恢复原始图像。
• 采用零阶优化：无需梯度信息或滤波器特异性知识，仅需能够应用该滤波器。
• 利用大多数真实滤波器保留图像主要结构和能量的事实，即使在Ω之外，实际中仍可实现可逆性。
• 通过将下采样视为滤波器，将该方法推广至非盲反卷积和超分辨率等逆问题。

实验结果

研究问题

• RQ1 是否可以在不了解滤波器内部参数或形式的情况下逆向处理图像滤波？
• RQ2 在度量空间中，滤波器在何种数学条件下可实现可逆反演？
• RQ3 零阶、无梯度的方法在逆向处理多种滤波器（包括商业滤波器）时效果如何？
• RQ4 该方法在滤波或压缩后丢失图像细节的情况下，能多大程度上实现细节恢复？
• RQ5 该方法能否推广至其他逆问题，如超分辨率和反卷积？

主要发现

• 该方法成功从商业软件（如Microsoft Selfie App、Photoshop Express）的滤波器中以高保真度恢复原始图像，即使不了解其具体实现。
• 在BM3D去噪和AMF滤波中，该方法在测试图像上的PSNR分别达到31.21 dB和30.85 dB，优于基线方法。
• 在JPEG压缩（质量60%）条件下，该方法恢复的图像细节PSNR最高达29.1 dB，表明对有损压缩具有鲁棒性。
• 在超分辨率任务中，使用双三次插值作为初始化，该方法在×2放大任务中达到30.50 dB的PSNR，与基于学习的方法相当。
• 当作为后处理模块应用于ScSR和SRCNN的结果时，该方法进一步将PSNR提升0.3–0.5 dB，表明与现有模型具有良好的协同效应。
• 该方法无法完全恢复滤波过程中已完全丢失的细节（如中值滤波或严重压缩造成的损失），证实了信息恢复的理论极限。