[论文解读] Speed Invariant Time Surface for Learning to Detect Corner Points with Event-Based Cameras

Jacques Manderscheid, Amos Sironi+3 more|arXiv (Cornell University)|Apr 30, 2019

Advanced Memory and Neural Computing参考文献 63被引用 2

一句话总结

本文提出SILC（速度无关的可学习角点），一种基于学习的方法，用于事件相机中鲁棒的角点检测，通过使用速度无关的时间表面表示来训练随机森林分类器。该方法在单个CPU上实现高达160万事件/秒的实时性能，并在快速、突然的运动下相比先前方法显著提升了稳定性，在新发布的高分辨率数据集上的评估中，其重投影误差更低，特征跟踪寿命更长。

ABSTRACT

We propose a learning approach to corner detection for event-based cameras that is stable even under fast and abrupt motions. Event-based cameras offer high temporal resolution, power efficiency, and high dynamic range. However, the properties of event-based data are very different compared to standard intensity images, and simple extensions of corner detection methods designed for these images do not perform well on event-based data. We first introduce an efficient way to compute a time surface that is invariant to the speed of the objects. We then show that we can train a Random Forest to recognize events generated by a moving corner from our time surface. Random Forests are also extremely efficient, and therefore a good choice to deal with the high capture frequency of event-based cameras—our implementation processes up to 1.6Mev/s on a single CPU. Thanks to our time surface formulation and this learning approach, our method is significantly more robust to abrupt changes of direction of the corners compared to previous ones. Our method also naturally assigns a confidence score for the corners, which can be useful for postprocessing. Moreover, we introduce a highresolution dataset suitable for quantitative evaluation and comparison of corner detection methods for event-based cameras. We call our approach SILC, for Speed Invariant Learned Corners, and compare it to the state-of-the-art with extensive experiments, showing better performance.

研究动机与目标

• 解决现有事件相机角点检测器在快速或突然运动变化下的不稳定性问题。
• 开发一种对物体速度不变的时间表面表示，以实现更鲁棒的特征检测。
• 训练一种轻量级、实时的分类器（随机森林），用于事件相机角点检测，且无需GPU支持。
• 引入一个高分辨率、无偏见的基准数据集，用于事件相机角点检测器的定量评估。
• 证明基于学习角点的简单追踪方法在动态、高动态范围场景中优于复杂追踪器。

提出的方法

• 提出一种新颖的速度无关时间表面（SITS）公式，以对事件数据进行累积，且对局部物体速度保持不变。
• 将SITS作为输入，用于训练随机森林分类器，以区分由运动角点产生的事件与背景或边缘事件。
• 采用稀疏、异步的事件处理流水线，专为仅CPU推理优化，实现高达每秒160万事件的处理速度。
• 应用最近邻追踪方案，以评估角点在时间上的稳定性和连续性。
• 发布一个新的高分辨率基准数据集（HVGA角点数据集），其真实值基于事件流的一致性，而非基于帧的关键点提取。
• 使用基于学习的方法在SITS特征上训练随机森林，以实现对各种运动模式和噪声的泛化能力。

实验结果

研究问题

• RQ1 基于学习的方法是否能提升事件相机在快速和突然运动变化下的角点检测鲁棒性？
• RQ2 如何使时间表面表示对物体速度保持不变，同时保持计算效率以支持实时应用？
• RQ3 轻量级分类器如随机森林是否能在无GPU加速的情况下实现事件相机角点检测的最先进性能？
• RQ4 当与学习到的角点结合时，简单追踪方案的性能与传统检测器相比如何？
• RQ5 在不同传感器特性下，基于一个事件相机训练的检测器在另一相机上的泛化能力如何？

主要发现

• 在HVGA角点数据集上，SILC在25ms时间窗口内的重投影误差为2.45像素，显著低于基线时间表面方法的5.79像素。
• 使用SILC追踪的特征平均寿命长于evFast、evHarris或Arc，表明其角点检测更稳定、更持久。
• 在Event-Camera数据集上，SILC在DAVIS数据上微调后，重投影误差为2.16像素，优于evHarris（2.46）、evFast（2.50）和Arc（2.58）。
• SILC在Event-Camera数据集上保持65.3%的有效追踪率，优于evFast（50.1%）和evHarris（47.4%）。
• 该方法在单个CPU上每秒可处理高达160万事件，证明其具备适用于低功耗嵌入式应用的实时性能。
• 检测器在不同传感器间具有良好的泛化能力：在ATIS上训练的模型在DAVIS上表现相当，而针对DAVIS的专用模型进一步提升了性能。