[论文解读] Two-Stage is Enough: A Concise Deep Unfolding Reconstruction Network for Flexible Video Compressive Sensing

Siming Zheng, Xiaoyu Yang+1 more|arXiv (Cornell University)|Jan 15, 2022

Sparse and Compressive Sensing Techniques被引用 7

一句话总结

该论文提出了一种用于视频压缩感知的两阶段深度展开网络，实现了最先进的（SOTA）重建性能，并在新掩码和尺度大小方面表现出卓越的灵活性。通过整合参考测量帧，采用基于3D-CNN的可逆结构，并使用分阶段训练与阶段损失，该模型在单阶段方法上实现了最高1.7dB的PSNR增益，在彩色VCS上实现了超过2.3dB的增益，同时将推理速度提升了17倍，并实现了对新硬件配置的零样本适应。

ABSTRACT

We consider the reconstruction problem of video compressive sensing (VCS) under the deep unfolding/rolling structure. Yet, we aim to build a flexible and concise model using minimum stages. Different from existing deep unfolding networks used for inverse problems, where more stages are used for higher performance but without flexibility to different masks and scales, hereby we show that a 2-stage deep unfolding network can lead to the state-of-the-art (SOTA) results (with a 1.7dB gain in PSNR over the single stage model, RevSCI) in VCS. The proposed method possesses the properties of adaptation to new masks and ready to scale to large data without any additional training thanks to the advantages of deep unfolding. Furthermore, we extend the proposed model for color VCS to perform joint reconstruction and demosaicing. Experimental results demonstrate that our 2-stage model has also achieved SOTA on color VCS reconstruction, leading to a >2.3dB gain in PSNR over the previous SOTA algorithm based on plug-and-play framework, meanwhile speeds up the reconstruction by >17 times. In addition, we have found that our network is also flexible to the mask modulation and scale size for color VCS reconstruction so that a single trained network can be applied to different hardware systems. The code and models will be released to the public.

研究动机与目标

• 开发一种简洁、可解释的深度展开模型用于视频压缩感知，以最少的阶段数量保持高重建保真度。
• 提升灵活性，使模型无需微调即可泛化至新的调制掩码和不同空间尺度。
• 通过采用可逆3D-CNN架构，克服深度展开框架中的内存与推理效率瓶颈。
• 通过将参考测量帧（RMF）融合至每一阶段，并采用分阶段训练策略与阶段损失，提升性能。
• 通过将掩码相关的信息与网络解耦，实现单次训练与部署后在不同硬件系统上的零样本部署。

提出的方法

• 提出一种基于3D-CNN的可逆网络的两阶段深度展开框架，以减少训练期间的内存占用。
• 将参考测量帧（RMF）融合至每一阶段，以增强对压缩测量信息的利用。
• 采用分阶段训练策略，使每一阶段独立优化，以提升收敛性与重建保真度。
• 应用阶段损失函数，使每一阶段的输出更贴近最优信号域，从而增强可解释性与性能。
• 利用深度展开的内在结构，实现单次训练与部署后对新掩码和尺度大小的零样本适应。
• 通过统一架构联合执行重建与去马赛克，将框架扩展至彩色VCS。

实验结果

研究问题

• RQ1 两阶段深度展开网络是否能在保持对新掩码和尺度大小灵活性的同时，实现视频压缩感知的SOTA性能？
• RQ2 将参考测量帧融合至每一阶段是否能显著提升基于深度展开的VCS中的重建保真度？
• RQ3 采用分阶段训练策略与阶段损失是否能在不增加阶段数的前提下提升模型灵活性与性能？
• RQ4 单个训练好的模型在真实VCS系统中对不同空间分辨率和调制模式的泛化能力有多强？
• RQ5 与现有的即插即用和元学习方法相比，该方法在灰度和彩色VCS上的速度与精度表现如何？

主要发现

• 所提出的两阶段模型在灰度VCS上相较单阶段的RevSCI基线模型实现了1.7dB的PSNR增益，创下新的SOTA记录。
• 在彩色VCS上，该模型相较基于即插即用框架的先前SOTA方法实现了超过2.3dB的PSNR增益，且推理速度提升了17倍。
• 该模型在不同掩码（包括未见过的掩码）下均保持稳定性能，切换掩码后仅出现0.2dB的PSNR下降，无需微调。
• 通过在256×256数据上训练的模型，成功泛化至大规模数据（最高达1000×1000空间尺寸），实现了首次基于学习的此类大尺寸帧重建。
• 消融实验表明，RMF融合、分阶段训练和阶段损失分别贡献了0.6dB、0.4dB和0.2dB的PSNR增益。
• 在真实数据（Wheel和Resolution Chart）中，即使在高噪声和大尺度条件下，该模型生成的图像边缘更清晰，细节保留更完整，优于GAP-TV、PnP-FFDNet和MetaSCI。