[论文解读] Plug-and-Play Methods for Integrating Physical and Learned Models in Computational Imaging

Ulugbek S. Kamilov, Charles A. Bouman+2 more|arXiv (Cornell University)|Mar 31, 2022

Mathematical Biology Tumor Growth被引用 24

一句话总结

PnP 方法通过用去噪器替代 proximal 步骤，将物理测量模型与学习先验整合，在各成像模态下实现灵活、模块化的重建。本文回顾基础、变体、收敛性与应用，并讨论平衡形态及在线/DU/DEQ扩展。

ABSTRACT

Plug-and-Play Priors (PnP) is one of the most widely-used frameworks for solving computational imaging problems through the integration of physical models and learned models. PnP leverages high-fidelity physical sensor models and powerful machine learning methods for prior modeling of data to provide state-of-the-art reconstruction algorithms. PnP algorithms alternate between minimizing a data-fidelity term to promote data consistency and imposing a learned regularizer in the form of an image denoiser. Recent highly-successful applications of PnP algorithms include bio-microscopy, computerized tomography, magnetic resonance imaging, and joint ptycho-tomography. This article presents a unified and principled review of PnP by tracing its roots, describing its major variations, summarizing main results, and discussing applications in computational imaging. We also point the way towards further developments by discussing recent results on equilibrium equations that formulate the problem associated with PnP algorithms.

研究动机与目标

• 以模块化方式动机化并形式化 Plug-and-Play (PnP) 框架，将数据保真度与学习先验在逆成像问题中结合起来。
• 概述历史发展、核心算法（PnP-ADMM、PnP-FISTA）及扩展（online PnP、RED），并给出理论收敛见解。
• 突出实际实现，包括将去噪器转化为超分辨重建器以及在不同测量算子之间自适应先验。
• 讨论平衡态表述及与深度展开（DU）和深度平衡（DEQ）模型的联系。
• 识别PnP方法中的局限性、权衡以及未来工作的方向。

提出的方法

• 描述复合目标函数 f(x)=g(x)+h(x)以及近端算法（ADMM、FISTA）作为 PnP 变体的基础。
• 在 ADMM/FISTA 中用一个黑箱去噪器 D 替代近端算子 prox_{γh}，从而得到 PnP-ADMM 与 PnP-FISTA。
• 解释一个预训练的去噪器如何作为图像先验，以及数据保真更新如何与学习先验分离以实现模块化。
• 通过一致性平衡（consensus equilibrium）讨论 PnP/RED 变体的收敛性及条件（如收缩算子、Lipschitz 连续的去噪器）。
• 给出在线/小批量变体（Online PnP、SIMBA），以降低每次迭代成本来处理大规模数据。
• 通过对 PnP 迭代进行展开或隐式微分，与学习先验（AR 算子）为特定测量模型训练的框架（DU/DEQ）建立联系。

实验结果

研究问题

• RQ1 如何将学习得到的去噪器与物理前向模型结合，在模块化、可插拔的方式下求解逆成像问题？
• RQ2 在不同去噪器和数据保真假设下，PnP 方法的收敛特性与理论保证是什么？
• RQ3 在不重新训练先验的情况下，如何将 PnP 适应于在线/大规模设置以及不同的测量算子？
• RQ4 平衡态与 DU/DEQ 解释在理解和改进 PnP 重建中的作用是什么？
• RQ5 使用针对问题的伪影去除先验相对于通用 AWGN 去噪器时的实际性能提升有哪些？

主要发现

• PnP 用去噪器替代近端步骤，使得数据保真与学习先验在成像问题中实现模块化集成。
• PnP-ADMM 和 PnP-FISTA 将前向模型更新与去噪分离，使在不同测量算子下重复使用同一个去噪器成为可能。
• 一致性平衡（consensus equilibrium）提供了在使用黑箱去噪器时分析收敛性的框架。
• Online PnP 与 SIMBA 通过使用小批量测量数据/分块来降低大规模问题的每次迭代成本，并在随机梯度假设下给出收敛分析。
• DU/DEQ 扩展在前向模型背景下训练去噪器，使用伪影去除先验或端到端训练，在提升性能的同时牺牲了一定的通用性。
• 经验结果（例如图6）表明，在某些压缩感知和 IDT 断层成像场景中，针对问题的伪影去除先验可能优于通用 AWGN 去噪器，图中给出相对的 PSNR/SSIM。