[论文解读] Plug-and-Play Algorithms for Video Snapshot Compressive Imaging

Xin Yuan, Yang Liu+3 more|arXiv (Cornell University)|Jan 13, 2021

Sparse and Compressive Sensing Techniques参考文献 75被引用 7

一句话总结

该论文提出了一种即插即用（PnP）算法——PnP-ADMM与PnP-GAP，将深度图像去噪器整合到视频快照压缩感知（SCI）的迭代重建过程中，实现了超高清（UHD）和高压缩率视频的快速、灵活且高质量重建。该方法达到实时性能（UHD视频重建时间低于4分钟），在速度和质量上优于最先进的方法（如DeSCI和GAP-TV），即使在50倍压缩率下也表现优异。

ABSTRACT

We consider the reconstruction problem of video snapshot compressive imaging (SCI), which captures high-speed videos using a low-speed 2D sensor (detector). The underlying principle of SCI is to modulate sequential high-speed frames with different masks and then these encoded frames are integrated into a snapshot on the sensor and thus the sensor can be of low-speed. On one hand, video SCI enjoys the advantages of low-bandwidth, low-power and low-cost. On the other hand, applying SCI to large-scale problems (HD or UHD videos) in our daily life is still challenging and one of the bottlenecks lies in the reconstruction algorithm. Exiting algorithms are either too slow (iterative optimization algorithms) or not flexible to the encoding process (deep learning based end-to-end networks). In this paper, we develop fast and flexible algorithms for SCI based on the plug-and-play (PnP) framework. In addition to the PnP-ADMM method, we further propose the PnP-GAP (generalized alternating projection) algorithm with a lower computational workload. We first employ the image deep denoising priors to show that PnP can recover a UHD color video with 30 frames from a snapshot measurement. Since videos have strong temporal correlation, by employing the video deep denoising priors, we achieve a significant improvement in the results. Furthermore, we extend the proposed PnP algorithms to the color SCI system using mosaic sensors, where each pixel only captures the red, green or blue channels. A joint reconstruction and demosaicing paradigm is developed for flexible and high quality reconstruction of color video SCI systems. Extensive results on both simulation and real datasets verify the superiority of our proposed algorithm.

研究动机与目标

• 解决大规模视频快照压缩感知（SCI）中重建速度慢的关键瓶颈，特别是针对高清（HD）、全高清（FHD）和超高清（UHD）视频。
• 克服现有方法的局限性：如DeSCI等迭代求解器因速度过慢而难以实现实时应用，而端到端深度学习模型在传感矩阵变化时缺乏灵活性。
• 开发一种计算效率高且能适应不同编码模式与传感器配置的重建框架。
• 将PnP框架扩展至使用拜耳马赛克传感器的彩色SCI系统，实现联合重建与去马赛克，以获得高质量输出。

提出的方法

• 通过将深度图像去噪器（如FFDNet、FastDVDnet）集成到交替方向乘子法（ADMM）和广义交替投影（GAP）求解器中，将即插即用（PnP）框架适配至视频SCI。
• 采用针对视频设计的深度去噪器（如FastDVDnet），利用视频序列中强烈的时序相关性，提升重建保真度。
• 将SCI重建建模为约束优化问题，其中数据一致性项确保测量保真度，而去噪器作为非线性先验。
• 提出PnP-GAP作为PnP-ADMM的计算量更轻的替代方案，在保持高质量重建的同时降低计算负载。
• 为彩色SCI开发联合重建与去马赛克范式，使PnP框架能同时处理彩色恢复与去噪。
• 利用预训练的深度去噪器而无需微调，实现对不同编码矩阵与传感器类型的即插即用部署。

实验结果

研究问题

• RQ1 PnP-based算法能否在保持对不同传感矩阵的灵活性的同时，实现UHD视频SCI数据的快速且高质量重建？
• RQ2 与仅处理空间信息的去噪器相比，集成视频专用去噪器（如FastDVDnet）如何提升重建性能？
• RQ3 PnP-GAP能否在显著降低计算成本的同时，实现与PnP-ADMM相当或更优的重建质量？
• RQ4 在真实世界高速运动的视频SCI系统中，PnP-based方法在高倍压缩率（如50×）下的表现如何？
• RQ5 PnP框架能否有效解决使用拜耳图案传感器的彩色视频SCI中的联合重建与去马赛克问题？

主要发现

• PnP-FFDNet在4分钟内完成对3840×2160×30超高清彩色视频的单次快照重建，远快于DeSCI（超过3.5小时），且在PSNR和视觉质量上优于GAP-TV。
• 在50倍压缩率下，PnP-FastDVDnet成功重建高速运动（如手部运动）的清晰、锐利帧，而基于类似数据训练的端到端网络因运动复杂性而失败。
• 在50倍压缩率下，PnP-FFDNet对512×512×50视频的重建仅耗时2.4分钟，而DeSCI需210分钟，实现87.5倍的速度提升。
• PnP-FastDVDnet在边缘锐度和细节表现上优于DeSCI和PnP-FFDNet，尽管背景区域存在轻微色彩失真，表明保真度与色彩准确性之间存在权衡。
• PnP-GAP相比PnP-ADMM显著降低计算负载，同时保持收敛性与高质量结果，适用于大规模问题。
• 所提出的框架实现了大规模视频SCI的实时、灵活重建，支持在高速、低带宽成像应用中的实际部署。