[论文解读] Tuning-free Plug-and-Play Proximal Algorithm for Inverse Imaging Problems

Kaixuan Wei, Angelica I. Avilés-Rivero+4 more|arXiv (Cornell University)|Feb 22, 2020

Sparse and Compressive Sensing Techniques参考文献 97被引用 14

一句话总结

该论文提出了一种无需调优的即插即用（PnP）邻近算法，通过混合深度强化学习策略自动选择最优参数——惩罚参数、去噪强度和终止时间。通过结合无模型强化学习与基于模型的强化学习，该方法在压缩感知磁共振成像（MRI）和相位恢复等反问题成像任务中实现了最先进性能，且无需人工调整超参数。

ABSTRACT

Plug-and-play (PnP) is a non-convex framework that combines ADMM or other proximal algorithms with advanced denoiser priors. Recently, PnP has achieved great empirical success, especially with the integration of deep learning-based denoisers. However, a key problem of PnP based approaches is that they require manual parameter tweaking. It is necessary to obtain high-quality results across the high discrepancy in terms of imaging conditions and varying scene content. In this work, we present a tuning-free PnP proximal algorithm, which can automatically determine the internal parameters including the penalty parameter, the denoising strength and the terminal time. A key part of our approach is to develop a policy network for automatic search of parameters, which can be effectively learned via mixed model-free and model-based deep reinforcement learning. We demonstrate, through numerical and visual experiments, that the learned policy can customize different parameters for different states, and often more efficient and effective than existing handcrafted criteria. Moreover, we discuss the practical considerations of the plugged denoisers, which together with our learned policy yield state-of-the-art results. This is prevalent on both linear and nonlinear exemplary inverse imaging problems, and in particular, we show promising results on Compressed Sensing MRI and phase retrieval.

研究动机与目标

• 解决即插即用（PnP）邻近算法在反问题成像中手动调整超参数的关键挑战。
• 通过自动化参数选择，克服手工设计参数规则和穷举搜索的局限性，适应多种成像条件。
• 开发一个统一框架，动态调整惩罚参数、去噪强度和终止时间。
• 实现在不同噪声水平和测量模型下无需微调或人工调整的高性能图像重建。

提出的方法

• 将内部参数选择建模为强化学习（RL）框架内的序列决策问题。
• 设计一个策略网络，通过结合无模型DDPG与基于模型的RL的混合方法，将当前优化状态映射为动作（参数值）。
• 采用混合训练策略：使用无模型DDPG进行探索，基于模型的策略进行精炼，提升样本效率与收敛性。
• 将学习到的策略集成到PnP-ADMM中，用自适应、与状态相关的参数更新替代固定或手工设计的参数调度。
• 利用邻近算子与去噪器之间的数学等价性，集成现成的去噪器（如BM3D、NLM），同时保持算法稳定性。
• 在模拟环境中端到端训练策略，该环境模拟真实反问题成像场景，包括不同噪声、采样率和图像内容。

实验结果

研究问题

• RQ1 强化学习策略是否能自动确定PnP算法中的最优惩罚参数、去噪强度和终止时间，而无需人工调优？
• RQ2 混合无模型与基于模型的强化学习方法是否在重建质量与收敛速度上优于纯无模型方法或手工参数规则？
• RQ3 所学习的策略是否能在多种反问题成像任务中泛化，包括线性（如CS-MRI）和非线性（如相位恢复）场景？
• RQ4 在高欠采样率或低信噪比等挑战性条件下，无超参数调优的PnP算法性能是否优于最先进方法？
• RQ5 该策略在多大程度上能学习到早期停止行为，从而在不损失图像质量的前提下减少计算量？

主要发现

• 所提方法在压缩感知MRI任务中达到最先进性能，显著优于IRCNN和BM3D-MRI，尤其在8×欠采样条件下表现突出。
• 在×2欠采样情况下，该方法仅需5次迭代即可收敛，远快于IRCNN（30次迭代）和BM3D-MRI（70次迭代）。
• 在相位恢复任务中，该方法生成的重建图像比所有对比PnP方法和经典方法（包括prDeep和DOLPHIn）更清晰、更锐利。
• 所学习的策略通常与已知真实值的最优参数（oracle参数）性能相当或更优，展现出强大的泛化能力。
• 混合强化学习策略学习到了有效的早期停止行为，并在迭代过程中动态调整参数，而固定或单调递减的参数调度无法实现这一点。
• 仅使用无模型DDPG的变体性能低于混合方法，未能学习到最优去噪强度和早期停止策略，凸显了基于模型精炼的优势。