[论文解读] Video Compressive Sensing for Spatial Multiplexing Cameras using Motion-Flow Models

Aswin C. Sankaranarayanan, Lina Xu+4 more|arXiv (Cornell University)|Mar 9, 2015

Sparse and Compressive Sensing Techniques参考文献 43被引用 1

一句话总结

该论文提出CS-MUVI，一种用于空间复用相机（SMCs）的压缩感知框架，通过利用从低分辨率视频预览中提取的运动流约束，在约60倍压缩率下实现高质量视频重建。该方法设计了高效的感知矩阵以支持预览计算，并在凸优化中引入光流作为时空先验，以抑制时间混叠并超越标准压缩感知方法的分辨率。

ABSTRACT

Spatial multiplexing cameras (SMCs) acquire a (typically static) scene through a series of coded projections using a spatial light modulator (e.g., a digital micro-mirror device) and a few optical sensors. This approach finds use in imaging applications where full-frame sensors are either too expensive (e.g., for short-wave infrared wavelengths) or unavailable. Existing SMC systems reconstruct static scenes using techniques from compressive sensing (CS). For videos, however, existing acquisition and recovery methods deliver poor quality. In this paper, we propose the CS multi-scale video (CS-MUVI) sensing and recovery framework for high-quality video acquisition and recovery using SMCs. Our framework features novel sensing matrices that enable the efficient computation of a low-resolution video preview, while enabling high-resolution video recovery using convex optimization. To further improve the quality of the reconstructed videos, we extract optical-flow estimates from the low-resolution previews and impose them as constraints in the recovery procedure. We demonstrate the efficacy of our CS-MUVI framework for a host of synthetic and real measured SMC video data, and we show that high-quality videos can be recovered at roughly $60 imes$ compression.

研究动机与目标

• 解决现有空间复用相机（SMCs）压缩感知系统中因假设场景静态而导致的视频质量差的问题，尽管实际存在时间动态。
• 克服视频压缩感知中的“先有鸡还是先有蛋”困境，即运动估计需要帧，而帧的重建又依赖于运动估计。
• 开发一种感知与重建框架，通过将光流作为先验，实现从低采样率、编码投影中恢复高分辨率视频。
• 设计支持低分辨率预览与高分辨率重建的感知矩阵，同时保证计算效率。
• 在真实与合成的SMC视频数据中，验证框架在不同目标速度、光照水平和动态目标尺寸下的鲁棒性。

提出的方法

• 基于离散正弦变换（DST）和多尺度结构（DSS）提出一种新颖的感知矩阵设计，以实现低分辨率视频预览的高效计算。
• 利用低分辨率预览估计光流，再将这些光流结果作为约束嵌入凸优化框架中。
• 构建基于全变差的优化问题，同时在空间和时间梯度上施加稀疏性，并将光流作为结构先验。
• 将运动约束整合到重建过程中，以减少时间混叠并提升重建保真度。
• 设计两阶段重建流水线：首先重建低分辨率预览，然后通过运动感知正则化将其细化为高分辨率。
• 利用感知矩阵的结构特性，实现快速计算，并支持高分辨率视频的可扩展性。

实验结果

研究问题

• RQ1 能否在空间复用相机中，从压缩测量中高效计算出低分辨率视频预览？
• RQ2 如何利用此类预览中的光流估计来提升压缩感知中的高分辨率视频重建质量？
• RQ3 在低采样率下，运动约束在SMC的视频压缩感知中能在多大程度上减少时间混叠？
• RQ4 所提出的框架在不同目标速度、光照水平和动态目标尺寸下的表现如何？
• RQ5 能否设计出多尺度感知矩阵，实现在无场景动态先验知识情况下的预览分辨率自适应？

主要发现

• CS-MUVI框架在约60倍压缩率下实现了高质量视频重建，显著优于标准压缩感知方法。
• 即使测量数量有限，使用CS-MUVI重建的视频空间分辨率仍高于2倍下采样，且略低于全分辨率。
• 通过将低分辨率预览中估计的光流整合到重建过程中，该方法有效缓解了时间混叠。
• 在不同目标速度下性能保持稳定，即使在最大速度下也仅出现渐进式退化和少量伪影。
• 该框架在从视场1/4到1/2的广泛动态目标尺寸范围内均保持稳定重建。
• 在低光照条件下，方法表现出渐进式性能退化，仅在极低光水平下出现轻微伪影。