[论文解读] Recovery Analysis for Plug-and-Play Priors using the Restricted Eigenvalue Condition

Jiaming Liu, M. Salman Asif+2 more|arXiv (Cornell University)|Jun 7, 2021

Sparse and Compressive Sensing Techniques被引用 12

一句话总结

该论文通过在去噪器的值域上利用受限 eigenvalue 条件（REC），首次为压缩感知中的即插即用先验（PnP）和基于去噪的正则化（RED）建立了理论恢复保证。结果表明，接近预训练深度去噪器固定点的解能够实现稳定的恢复，且在实践中，去噪器去噪能力更强的去噪器（AR denoisers）显著优于标准的 AWGN 去噪器。

ABSTRACT

The plug-and-play priors (PnP) and regularization by denoising (RED) methods have become widely used for solving inverse problems by leveraging pre-trained deep denoisers as image priors. While the empirical imaging performance and the theoretical convergence properties of these algorithms have been widely investigated, their recovery properties have not previously been theoretically analyzed. We address this gap by showing how to establish theoretical recovery guarantees for PnP/RED by assuming that the solution of these methods lies near the fixed-points of a deep neural network. We also present numerical results comparing the recovery performance of PnP/RED in compressive sensing against that of recent compressive sensing algorithms based on generative models. Our numerical results suggest that PnP with a pre-trained artifact removal network provides significantly better results compared to the existing state-of-the-art methods.

研究动机与目标

• 为 PnP/RED 方法填补理论恢复保证的空白，尽管其在实践中表现强劲，但缺乏正式的恢复分析。
• 建立 PnP 和 RED 解在压缩感知中接近真实信号的条件。
• 探讨 PnP/RED 与生成模型压缩感知（CSGM）之间的概念性关系。
• 比较使用预训练去噪器（AR denoisers）与标准 AWGN 去噪器在 PnP/RED 中的恢复性能。
• 证明 PnP/RED 中的正则化机制通过偏好接近去噪器固定点的解来实现，类似于促进稀疏性的先验。

提出的方法

• 在去噪器值域上应用受限 eigenvalue 条件（REC）的变体，开展理论分析，确保稀疏信号的稳定恢复。
• 证明：若测量矩阵在去噪器值域上满足 REC，则 PnP/RED 解与真实信号之间的距离可被显式界定。
• 推导出 PnP 和 RED 解重合的充分条件，从而在特定假设下实现精确恢复。
• 该框架假设解位于去噪器的固定点附近，形式化了 PnP/RED 通过偏好接近这些固定点的图像来实现正则化的观点。
• 通过随机投影和子采样傅里叶测量，对 PnP/RED 与当前最先进的 CSGM 方法进行数值实验比较。
• 使用预训练的去噪器去噪能力更强的去噪器（AR denoisers），并与标准 AWGN 去噪器进行比较，通过残差范数 $\|\mathsf{R}(\mathbf{x})\|_2^2 = \|\mathbf{x} - \mathsf{D}(\mathbf{x})\|_2^2$ 监测收敛性。

实验结果

研究问题

• RQ1 在何种条件下可为压缩感知中的 PnP/RED 建立理论恢复保证？
• RQ2 PnP/RED 的性能与当前最先进的基于生成模型的方法在压缩感知中的表现相比如何？
• RQ3 去噪器的固定点在 PnP/RED 正则化机制中起什么作用？
• RQ4 为何去噪器去噪能力更强的去噪器（AR denoisers）在 PnP/RED 恢复中优于标准 AWGN 去噪器？
• RQ5 能否通过在去噪器值域上假设 REC，将 CSGM 的理论恢复框架适配到 PnP/RED？

主要发现

• 若测量矩阵在去噪器值域上满足受限 eigenvalue 条件，则 PnP/RED 解可保证接近真实信号。
• 理论分析表明，在充分条件下 PnP 和 RED 解重合，当这些条件满足时可实现精确恢复。
• 数值结果表明，使用预训练去噪器去噪能力更强的去噪器（AR denoisers）的 PnP 在重建性能上显著优于当前最先进的 CSGM 方法。
• 在 Set11 数据集上的 PSNR 结果显示，PnP (AR) 在残差范数为 1.0 时达到 72.72 dB，优于相同条件下 PnP (denoisers) 的 65.76 dB。
• 随着解趋近于去噪器的固定点，图像视觉质量下降，因细粒度细节丢失，表明最优性能位于固定点附近但不完全在固定点上。
• 视觉对比结果表明，PnP (AR) 生成的图像更锐利，与使用 StyleGAN2 的 ILO 方法相当，凸显了使用 AR 操作器相比标准去噪器的优势。