[论文解读] Plug-and-Play Algorithms for Large-scale Snapshot Compressive Imaging

Xin Yuan, Liu Yang+2 more|arXiv (Cornell University)|Mar 30, 2020

Sparse and Compressive Sensing Techniques参考文献 62被引用 16

一句话总结

本论文提出即插即用（PnP）算法——PnP-ADMM与PnP-GAP——将F一个快速、灵活且高质量地重建大规模视频。该方法在单张GPU上实现UHD视频恢复（3840×1644×48），PSNR >30 dB，耗时不足60分钟，相比先前方法在速度与可扩展性方面表现更优，同时在不同压缩比和真实数据上保持鲁棒性。

ABSTRACT

Snapshot compressive imaging (SCI) aims to capture the high-dimensional (usually 3D) images using a 2D sensor (detector) in a single snapshot. Though enjoying the advantages of low-bandwidth, low-power and low-cost, applying SCI to large-scale problems (HD or UHD videos) in our daily life is still challenging. The bottleneck lies in the reconstruction algorithms; they are either too slow (iterative optimization algorithms) or not flexible to the encoding process (deep learning based end-to-end networks). In this paper, we develop fast and flexible algorithms for SCI based on the plug-and-play (PnP) framework. In addition to the widely used PnP-ADMM method, we further propose the PnP-GAP (generalized alternating projection) algorithm with a lower computational workload and prove the convergence of PnP-GAP under the SCI hardware constraints. By employing deep denoising priors, we first time show that PnP can recover a UHD color video ($3840 imes 1644 imes 48$ with PNSR above 30dB) from a snapshot 2D measurement. Extensive results on both simulation and real datasets verify the superiority of our proposed algorithm. The code is available at https://github.com/liuyang12/PnP-SCI.

研究动机与目标

• 解决大规模快照压缩成像（SCI）重建中的速度、精度与灵活性三重难题。
• 克服传统迭代求解器（如DeSCI）速度慢，以及端到端深度学习网络灵活性差（需为新感知矩阵重新训练）的局限性。
• 通过大幅缩短重建时间，实现SCI在实际应用（如HD、FHD和UHD视频采集）中的可行部署。
• 在SCI硬件约束和有界去噪器条件下，证明所提出的PnP-GAP算法具有收敛性。
• 建立一种灵活、即插即用的框架，支持多种去噪器而无需重新训练，从而适应不同压缩比和成像条件。

提出的方法

• 将即插即用（PnP）框架适配至SCI，通过将有界去噪器集成到交替方向乘子法（ADMM）与广义交替投影（GAP）算法中。
• 提出PnP-GAP作为PnP-ADMM的计算更轻量的替代方案，在满足适当假设条件下保持收敛性。
• 将快速且灵活的FFDNet去噪器集成至PnP-GAP，实现高分辨率视频数据的实时重建。
• 在SCI感知模型与硬件约束下，证明PnP-GAP的全局收敛性，纠正原始证明中的缺陷。
• 仅使用单张GPU与标准计算硬件，从单张二维快照测量中重建出UHD彩色视频（3840×1644×48）。
• 在仿真数据与物理SCI相机采集的真实数据集上评估性能，涵盖高速与光谱视频等场景。

实验结果

研究问题

• RQ1 PnP框架能否有效适配大规模快照压缩成像，实现高重建质量与低计算成本？
• RQ2 PnP-GAP在SCI硬件约束与感知矩阵结构限制下是否收敛？其计算效率是否优于PnP-ADMM？
• RQ3 能否成功将如FFDNet等深度去噪器集成至PnP-GAP，实现在无需重新训练的前提下，对UHD视频进行快速、灵活且高质量的重建？
• RQ4 与最先进方法相比，所提出的PnP-SCI框架在不同压缩比和真实成像条件下表现如何？
• RQ5 在实际时间范围内，是否可行通过PnP方法从单张快照重建出UHD（3840×1644×48）彩色视频，且PSNR >30 dB？

主要发现

• PnP-FFDNet在单张GPU上仅用约55分钟即可从单张快照重建出UHD彩色视频（3840×1644×48），PSNR超过30 dB。
• 在真实数据上，PnP-FFDNet对512×512×22视频的重建时间低于13秒，速度比GAP-TV快5倍以上，比DeSCI快逾100倍。
• PnP-GAP在合理假设下实现全局收敛，为PnP-ADMM提供了理论坚实且高效的替代方案。
• PnP-FFDNet在压缩比从8到48的范围内均保持高质量重建，PSNR与SSIM指标均优于其他PnP-SCI方法。
• 在真实数据集（如螺旋轮、锤击、UCF）上，PnP-FFDNet的重建结果与DeSCI相当或更优，但耗时仅为12.5秒（1100×850×10视频）。
• 所提出的框架首次成功实现了基于SCI的UHD视频重建，证明了其在消费级与高速成像等实际应用中的可行性。