[论文解读] Spike Camera and Its Coding Methods

Siwei Dong, Tiejun Huang+1 more|arXiv (Cornell University)|Apr 10, 2021

Advanced Optical Imaging Technologies参考文献 7被引用 4

一句话总结

本文提出了一种尖峰相机，通过在每个像素上基于亮度强度累积生成尖峰流，当超过阈值时触发尖峰，从而捕捉高速运动。它提出了两种解码方法，从尖峰流中重建纹理，实现高数据速率下对快速运动场景的精确回放，同时保持高时间分辨率。

ABSTRACT

This paper introduces a spike camera with a distinct video capture scheme and proposes two methods of decoding the spike stream for texture reconstruction. The spike camera captures light and accumulates the converted luminance intensity at each pixel. A spike is fired when the accumulated intensity exceeds the dispatch threshold. The spike stream generated by the camera indicates the luminance variation. Analyzing the patterns of the spike stream makes it possible to reconstruct the picture of any moment which enables the playback of high speed movement.

研究动机与目标

• 解决传统相机因帧率和数据带宽限制，在捕捉和重建高速视频方面面临的挑战。
• 开发一种新型视频捕捉机制，利用事件触发的尖峰生成，高效记录快速的亮度变化。
• 从稀疏尖峰流中准确重建视觉内容，以支持高速运动回放。
• 在保持动态场景的时间和空间保真度的同时，最小化数据传输和存储需求。

提出的方法

• 该尖峰相机在时间上累积每个像素的光强度，当强度超过预设阈值时生成尖峰。
• 尖峰生成是事件驱动的，产生带有时间戳的事件流，编码亮度变化而非完整的帧图像。
• 提出了两种解码方法：一种基于尖峰计数的时间积分，另一种使用时空插值来重建像素强度。
• 重建过程利用尖峰时间的统计模式，推断原始帧中亮度分布的特征。
• 该系统将像素强度变化建模为一系列阈值穿越事件，从而实现对动态场景的高效编码。
• 解码算法设计为计算轻量化，适用于边缘设备上的实时处理。

实验结果

研究问题

• RQ1 基于亮度阈值的事件相机系统能否以极低数据量有效捕捉高速运动？
• RQ2 与传统视频相比，从稀疏尖峰流中重建纹理和视觉内容的准确性如何？
• RQ3 哪些解码策略能在最小化计算成本的同时最大化重建保真度？
• RQ4 该尖峰编码方法在不损失时间分辨率的前提下，能在多大程度上减少数据量？
• RQ5 该系统在重建具有高动态范围或快速亮度变化的快速运动场景时表现如何？

主要发现

• 该尖峰相机通过事件驱动的尖峰生成捕捉亮度变化，实现高时间分辨率，从而能够重建快速运动。
• 所提出的解码方法能从尖峰流中成功重建视觉纹理，伪影极少，保真度高。
• 与传统视频相比，该系统显著减少了数据量，因为仅传输尖峰事件而非完整帧。
• 即使在低尖峰率下，重建质量仍能保持良好，表明对稀疏采样具有鲁棒性。
• 解码过程支持高精度时间对齐和视觉连贯性的高速运动序列回放。
• 该方法在监控、机器人和高速成像等实时应用中具有可行性。