[论文解读] SeqXFilter: A Memory-efficient Denoising Filter for Dynamic Vision Sensors

Shasha Guo, Lei Wang+4 more|arXiv (Cornell University)|Jun 2, 2020

CCD and CMOS Imaging Sensors参考文献 20被引用 5

一句话总结

SeqXFilter 是一种针对动态视觉传感器（DVS）的内存高效去噪滤波器，通过使用固定大小的过去事件窗口来检测时空相关性，具有 O(1) 的空间复杂度和最低的计算开销。通过使用优化函数分析空间距离，其去噪性能与当前最先进的 NNb 滤波器相当，同时显著降低了内存使用量和计算开销。

ABSTRACT

Neuromorphic event-based dynamic vision sensors (DVS) have much faster sampling rates and a higher dynamic range than frame-based imaging sensors. However, they are sensitive to background activity (BA) events that are unwanted. There are some filters for tackling this problem based on spatio-temporal correlation. However, they are either memory-intensive or computing-intensive. We propose \emph{SeqXFilter}, a spatio-temporal correlation filter with only a past event window that has an O(1) space complexity and has simple computations. We explore the spatial correlation of an event with its past few events by analyzing the distribution of the events when applying different functions on the spatial distances. We find the best function to check the spatio-temporal correlation for an event for \emph{SeqXFilter}, best separating real events and noise events. We not only give the visual denoising effect of the filter but also use two metrics for quantitatively analyzing the filter's performance. Four neuromorphic event-based datasets, recorded from four DVS with different output sizes, are used for validation of our method. The experimental results show that \emph{SeqXFilter} achieves similar performance as baseline NNb filters, but with extremely small memory cost and simple computation logic.

研究动机与目标

• 解决现有时空去噪滤波器在动态视觉传感器（DVS）上带来的高内存和计算成本问题。
• 在不牺牲去噪性能的前提下，降低 DVS 事件滤波中的内存使用量。
• 探索一种替代方法，通过仅存储过去事件的坐标而非时间戳或每像素内存，来利用时空相关性。
• 识别用于测量当前事件与过去事件之间空间相关性的最优函数，以最好地区分真实事件与噪声。
• 在具有不同输出尺寸和噪声水平的多样化 DVS 数据集中验证该方法。

提出的方法

• 维护一个固定大小的过去事件窗口，仅存储最近 X 个事件的 (x, y) 坐标，而非时间戳或每像素内存。
• 利用当前事件与过去窗口中事件之间的相对空间距离来推断时空相关性，将事件顺序视为隐含的时间信息。
• 对空间距离应用不同的数学函数以建模相关性强弱，并识别出最适于区分真实事件与背景活动的函数。
• 通过除法归一化空间距离，以实现在不同尺度下的一致性阈值设定。
• 通过用新事件覆盖最旧条目的方式更新过去事件窗口，确保恒定的 O(1) 内存使用。
• 使用阈值参数 σ 控制对空间接近度的敏感度，该参数根据数据集和噪声水平进行调整。

实验结果

研究问题

• RQ1 DVS 去噪滤波器能否在显著降低内存使用量的同时，实现与基线 NNb 滤波器相当的性能？
• RQ2 用于建模当前事件与过去事件之间空间相关性的最优函数是什么，以最好地区分真实事件与噪声？
• RQ3 在不同噪声条件下，过去事件窗口长度如何影响去噪性能？
• RQ4 能否在不降低真实世界 DVS 数据集中去噪准确率的前提下，实现 O(1) 的空间复杂度？
• RQ5 该滤波器在具有不同输出分辨率和噪声特性的多样化 DVS 传感器上表现如何？

主要发现

• 在四个多样化 DVS 数据集中，SeqXFilter 的去噪性能与基线 NNb 滤波器相当，PSNR 和 SSIM 指标表现一致。
• 在摆动器数据集中，将过去事件窗口从 X=2 增加到 X=4 后，视觉去噪质量得到提升，右上区域的噪声像素减少。
• 当 X=2 且 σ=0.04 时，SeqXFilter 的 PSNR1 值接近基线（bs1），表明性能高度相似。
• 在噪声较低的数据集中，σ 的选择表现出灵活性；而在高度噪声数据集中，较大的 σ 值会损害性能。
• 该方法实现了 O(1) 的空间复杂度，过去事件窗口仅使用 32·X 位，相当于存储 2–4 个时间戳，与 DVS 分辨率无关。
• 计算开销极低，每个事件仅需 6 次加法、2 次除法、2 次比较和 2 次写入操作，且计数器更新高效。