[论文解读] The Little Engine that Could: Regularization by Denoising (RED)

Yaniv Romano, Michael Elad+1 more|arXiv (Cornell University)|Nov 9, 2016

Image and Signal Denoising Methods参考文献 47被引用 10

一句话总结

本文提出了去噪正则化（RED），一种新颖的框架，将预训练的去噪算法作为逆问题优化中的显式正则化项。与插件式先验（P³）方法不同，RED 构建了一个清晰、图像自适应的基于拉普拉斯的正则化泛函，支持灵活的优化和全局收敛，实现了去模糊和超分辨率任务的最先进性能。

ABSTRACT

Removal of noise from an image is an extensively studied problem in image processing. Indeed, the recent advent of sophisticated and highly effective denoising algorithms lead some to believe that existing methods are touching the ceiling in terms of noise removal performance. Can we leverage this impressive achievement to treat other tasks in image processing? Recent work has answered this question positively, in the form of the Plug-and-Play Prior ($P^3$) method, showing that any inverse problem can be handled by sequentially applying image denoising steps. This relies heavily on the ADMM optimization technique in order to obtain this chained denoising interpretation. Is this the only way in which tasks in image processing can exploit the image denoising engine? In this paper we provide an alternative, more powerful and more flexible framework for achieving the same goal. As opposed to the $P^3$ method, we offer Regularization by Denoising (RED): using the denoising engine in defining the regularization of the inverse problem. We propose an explicit image-adaptive Laplacian-based regularization functional, making the overall objective functional clearer and better defined. With a complete flexibility to choose the iterative optimization procedure for minimizing the above functional, RED is capable of incorporating any image denoising algorithm, treat general inverse problems very effectively, and is guaranteed to converge to the globally optimal result. We test this approach and demonstrate state-of-the-art results in the image deblurring and super-resolution problems.

研究动机与目标

• 为解决现有插件式方法在图像逆问题处理中的局限性，提供一种更合理且灵活的正则化框架。
• 通过使正则化显式化并数学上明确定义，克服 P³ 方法中隐式且定义不清的正则化问题。
• 使任何去噪算法均可作为一般逆问题中的正则化项使用，同时确保收敛性和稳定性。
• 提供一个统一的、基于优化的框架，将去噪视为正则化泛函，而非迭代方案中的顺序去噪步骤。
• 在具有挑战性的逆问题（如图像去模糊和超分辨率）中展示所提方法的有效性。

提出的方法

• 提出一种从去噪引擎导出的显式图像自适应拉普拉斯基正则化泛函，定义为 $ \rho_L(\mathbf{x}) = \frac{1}{2} \| \nabla_{\mathbf{x}} f(\mathbf{x}) \|_F^2 $，其中 $ f $ 为去噪器。
• 将逆问题重新表述为正则化目标的最小化：$ \min_{\mathbf{x}} \| \mathbf{y} - \mathbf{Hx} \|_2^2 + \lambda \rho_L(\mathbf{x}) $，其中 $ \mathbf{H} $ 表示退化算子。
• 使用定点迭代求解优化问题，利用去噪器的梯度确保在弱条件下收敛。
• 通过要求去噪器可微且其雅可比矩阵满足无源性条件 $ \| \nabla_{\mathbf{x}} f(\mathbf{x}) \|_2 \leq 1 $ 来保证收敛性。
• 通过将任意去噪算法（如 BM3D、NLM、K-SVD、基于 CNN 的方法）嵌入为正则化项，支持其在各类逆问题中即插即用。
• 证明该方法在弱假设下具有全局收敛性，且避免了 P³ 方法对 ADMM 的依赖，从而在优化选择上具有更高的灵活性。

实验结果

研究问题

• RQ1 能否将去噪算法作为显式、明确定义的正则化项应用于逆问题，而非作为迭代方案中的黑箱步骤？
• RQ2 通过去噪器梯度构建正则化是否能带来比隐式先验更稳定、更收敛的优化框架？
• RQ3 所提出的 RED 框架是否能在标准逆问题中优于现有插件式方法（如 P³）？
• RQ4 在去噪器满足可微性和有界雅可比矩阵等弱假设下，优化过程的收敛性是否能得到保证？
• RQ5 该框架是否可广泛应用于各类逆问题（如去模糊、超分辨率）且仅需极少修改？

主要发现

• RED 在图像去模糊和超分辨率任务中实现了最先进性能，优于现有方法（包括 P³ 和其他基于去噪的方法）。
• 在弱假设下（如去噪器可微且其雅可比矩阵满足无源性条件）具有全局收敛性。
• 正则化泛函显式定义并源于去噪器梯度，使优化目标清晰且数学上严谨。
• 该框架具有高度灵活性，支持任意去噪算法作为正则化项，包括非线性和非凸去噪器（如 BM3D 和 K-SVD）。
• 该方法避免了 P³ 对 ADMM 的依赖，支持任意迭代优化方案，提升了收敛鲁棒性。
• 实验结果表明，RED 在各种噪声水平和退化模型下均能保持高质量重建，在基准任务中 PSNR 和 SSIM 指标均有显著提升。