[论文解读] Scalable Plug-and-Play ADMM with Convergence Guarantees

Yu Sun, Zihui Wu+3 more|arXiv (Cornell University)|Jun 5, 2020

Sparse and Compressive Sensing Techniques参考文献 72被引用 4

一句话总结

本文提出了一种增量式即插即用交替方向乘子法（IPA）算法，通过小批量处理数据，实现了大规模反问题求解的可扩展性与收敛性保证。与以往的PnP方法不同，IPA在数据集规模无关的情况下保持了低内存占用和每轮迭代的计算成本，支持非光滑数据保真项，并在理论收敛性保证下实现了比PnP-SGD更快的收敛速度。

ABSTRACT

Plug-and-play priors (PnP) is a broadly applicable methodology for solving inverse problems by exploiting statistical priors specified as denoisers. Recent work has reported the state-of-the-art performance of PnP algorithms using pre-trained deep neural nets as denoisers in a number of imaging applications. However, current PnP algorithms are impractical in large-scale settings due to their heavy computational and memory requirements. This work addresses this issue by proposing an incremental variant of the widely used PnP-ADMM algorithm, making it scalable to large-scale datasets. We theoretically analyze the convergence of the algorithm under a set of explicit assumptions, extending recent theoretical results in the area. Additionally, we show the effectiveness of our algorithm with nonsmooth data-fidelity terms and deep neural net priors, its fast convergence compared to existing PnP algorithms, and its scalability in terms of speed and memory.

研究动机与目标

• 解决现有即插即用PnP算法在大规模场景下计算与内存需求不切实际的问题。
• 开发一种可扩展的PnP-ADMM变体，通过增量式处理数据，使内存占用与每轮迭代复杂度独立于数据集规模。
• 将理论收敛性保证扩展至数据的增量式处理，涵盖光滑与非光滑数据保真项。
• 在大规模问题中实现深度神经网络先验的使用，且收敛速度优于现有随机方法（如PnP-SGD）。
• 提供一种理论坚实、灵活且实用的框架，用于大规模图像重建与反问题求解。

提出的方法

• 提出一种增量式PnP-ADMM（IPA）算法，每次仅处理一个或少量数据元素，而非以批处理方式处理整个数据集。
• 采用随机化增量更新机制，以循环或随机方式在数据子集上处理数据保真项。
• 保持ADMM结构，通过在原始变量与对偶变量之间交替最小化，但仅在每一步对测量值的一个子集应用数据保真项的近端算子。
• 使用去噪器（例如预训练的深度神经网络）作为先验，其应用方式与标准PnP-ADMM相同，但适配于增量更新。
• 理论分析基于底层算子的强非扩张性与不动点收敛性，将先前批处理结果扩展至增量处理。
• 在明确假设下建立收敛性：数据保真项梯度的利普希茨连续性、迭代序列的有界性，以及去噪器与近端算子的强非扩张性。

实验结果

研究问题

• RQ1 PnP-ADMM能否在不牺牲收敛性保证的前提下实现对大规模数据集的可扩展性？
• RQ2 在PnP-ADMM中采用增量式数据处理时，是否能在使用非光滑数据保真项与学习型去噪器的情况下保持收敛性？
• RQ3 与批处理PnP-ADMM及PnP-SGD相比，增量式PnP-ADMM在收敛速度与内存占用方面表现如何？
• RQ4 能否将批处理PnP-ADMM的理论收敛框架扩展至部分、随机化数据处理？
• RQ5 在大规模成像问题中，增量算法在速度、内存效率与重建质量方面的实际性能如何？

主要发现

• 所提出的IPA算法在明确假设下收敛至不动点，将批处理PnP-ADMM的理论保证扩展至增量处理。
• IPA在非光滑数据保真项（如ℓ₁-范数）下仍保持收敛性，而PnP-SGD在相同理论框架下不支持此类项。
• 数值实验表明，IPA的收敛速度优于PnP-SGD，尤其在早期迭代中，得益于ADMM的交替方向结构。
• IPA的内存占用与每轮迭代计算成本与总测量数无关，使其可扩展至极大规模数据集。
• 数值验证表明，IPA能有效结合深度神经网络先验与非光滑数据保真项，在大规模图像重建任务中达到最先进性能。
• 理论分析表明，在与批处理PnP-ADMM相同的假设下，增量算子仍保持强非扩张性，从而通过Krasnosel’skii-Mann定理确保收敛。