[论文解读] Proximal Denoiser for Convergent Plug-and-Play Optimization with Nonconvex Regularization

Samuel Hurault, Arthur Leclaire+1 more|arXiv (Cornell University)|Jan 31, 2022

Photoacoustic and Ultrasonic Imaging被引用 11

一句话总结

本文提出一种基于深度神经网络的近似去噪器，作为非凸平滑正则化函数的近端算子，使带非凸正则化的插件式（Plug-and-Play, PnP）优化具备收敛性保证。通过证明基于梯度的去噪器等价于近端算子，作者建立了PnP-PGD与PnP-ADMM在非凸设置下的收敛性，其收敛至显式泛函的驻点，实验验证涵盖去模糊、超分辨率与图像修复任务，性能达到当前最先进水平。

ABSTRACT

Plug-and-Play (PnP) methods solve ill-posed inverse problems through iterative proximal algorithms by replacing a proximal operator by a denoising operation. When applied with deep neural network denoisers, these methods have shown state-of-the-art visual performance for image restoration problems. However, their theoretical convergence analysis is still incomplete. Most of the existing convergence results consider nonexpansive denoisers, which is non-realistic, or limit their analysis to strongly convex data-fidelity terms in the inverse problem to solve. Recently, it was proposed to train the denoiser as a gradient descent step on a functional parameterized by a deep neural network. Using such a denoiser guarantees the convergence of the PnP version of the Half-Quadratic-Splitting (PnP-HQS) iterative algorithm. In this paper, we show that this gradient denoiser can actually correspond to the proximal operator of another scalar function. Given this new result, we exploit the convergence theory of proximal algorithms in the nonconvex setting to obtain convergence results for PnP-PGD (Proximal Gradient Descent) and PnP-ADMM (Alternating Direction Method of Multipliers). When built on top of a smooth gradient denoiser, we show that PnP-PGD and PnP-ADMM are convergent and target stationary points of an explicit functional. These convergence results are confirmed with numerical experiments on deblurring, super-resolution and inpainting.

研究动机与目标

• 为解决使用深度神经网络去噪器的插件式（PnP）方法缺乏理论收敛保证的问题。
• 建立通过神经网络训练的梯度步长去噪器可被解释为非凸平滑函数的精确近端算子。
• 将PnP优化的收敛性理论从凸设置扩展至非凸设置，实现对PnP-PGD与PnP-ADMM的严格分析。
• 为使用深度去噪器的PnP方法提供理论基础，确保收敛至显式泛函的驻点。
• 在去模糊、超分辨率与图像修复等图像恢复任务上验证所提框架，实现经验收敛性与性能提升。

提出的方法

• 去噪器定义为 $ D_{\rho} = \text{Id} - \nabla g_{\sigma} $，其中 $ g_{\sigma} $ 是参数化标量函数的可微分神经网络。
• 理论分析证明，该梯度去噪器等价于非凸平滑函数 $ g $ 的近端算子，利用Moreau与Gribonval关于近端算子表征的结果。
• 该等价性使得近端算法收敛性理论可应用于非凸设置下的PnP-PGD与PnP-ADMM。
• 通过近端去噪器重新表述PnP-PGD与PnP-ADMM算法，确保收敛至泛函 $ F_{\lambda,\sigma}(x) = \lambda f(x) + g(x) $ 的驻点。
• 在去模糊、超分辨率与图像修复任务上开展数值实验，采用Prox-PnP-DRS、Prox-PnP-PGD与Prox-PnP-ADMM变体，监测收敛性并评估PSNR。
• 该方法已在 https://github.com/samuro95/Prox-PnP 开源，支持可复现性与进一步基准测试。

实验结果

研究问题

• RQ1 基于深度神经网络训练的梯度步长去噪器能否被正式解释为非凸函数的近端算子？
• RQ2 在PnP算法中用此类去噪器替代近端算子，是否能在非凸设置下保证收敛至驻点？
• RQ3 当使用等价于近端算子的梯度去噪器时，能否理论保证PnP-PGD与PnP-ADMM的收敛性？
• RQ4 与现有PnP方法（如DPIR）相比，所提Prox-PnP框架在收敛性与图像质量方面的表现如何？
• RQ5 Prox-PnP框架对初始化噪声是否具有鲁棒性，并在非可微数据保真设置（如图像修复）中是否有效？

主要发现

• 梯度去噪器 $ D_{\sigma} = \text{Id} - \nabla g_{\sigma} $ 被证明是精确的非凸平滑函数 $ g $ 的近端算子，从而实现理论收敛性保证。
• 使用该去噪器的PnP-PGD与PnP-ADMM即使在非凸设置下，也能收敛至显式泛函 $ F_{\lambda,\sigma}(x) = \lambda f(x) + g(x) $ 的驻点。
• 在去模糊任务中，Prox-PnP-DRS在"butterfly"图像上达到29.41 dB的PSNR，优于GSPnP-HQS（29.58 dB），与DPIR（29.48 dB）相当，且收敛稳定。
• 在超分辨率任务中，Prox-PnP-DRS在"leaves"图像上达到24.36 dB，优于pGSPnP-PGD（23.96 dB）与pGSPnP-DRSdiff（23.96 dB），且收敛一致。
• 在图像修复任务中，Prox-PnP-DRS在两张测试图像上分别达到31.14 dB与33.18 dB的PSNR，残差范数以 $ \mathcal{O}(1/k) $ 的速率下降，证实了经验收敛性。
• 该方法对初始化噪声具有鲁棒性：即使初始化噪声标准差为 $ \sigma_{\text{init}} = 60/255 $，Prox-PnP-DRS仍保持高PSNR（18.65 dB），而其他方法显著退化。