[论文解读] Place Recognition with Event-based Cameras and a Neural Implementation of SeqSLAM

Michael Milford, Hanme Kim+5 more|arXiv (Cornell University)|May 18, 2015

Advanced Memory and Neural Computing被引用 5

一句话总结

本文提出了一种新颖的方法，通过将SeqSLAM算法改编为与脉冲神经网络兼容的神经实现方式，实现基于事件相机的场景识别。结果表明，事件相机凭借其高时间分辨率和高动态范围，能够在高速运动和复杂光照条件下实现鲁棒的场景识别，并通过脉冲神经网络版本的SeqSLAM在神经形态硬件上实现实时性能。

ABSTRACT

Event-based cameras offer much potential to the fields of robotics and computer vision, in part due to their large dynamic range and extremely high "frame rates". These attributes make them, at least in theory, particularly suitable for enabling tasks like navigation and mapping on high speed robotic platforms under challenging lighting conditions, a task which has been particularly challenging for traditional algorithms and camera sensors. Before these tasks become feasible however, progress must be made towards adapting and innovating current RGB-camera-based algorithms to work with event-based cameras. In this paper we present ongoing research investigating two distinct approaches to incorporating event-based cameras for robotic navigation: the investigation of suitable place recognition / loop closure techniques, and the development of efficient neural implementations of place recognition techniques that enable the possibility of place recognition using event-based cameras at very high frame rates using neuromorphic computing hardware.

研究动机与目标

• 将传统的基于RGB的场景识别算法（特别是SeqSLAM）适配至事件相机使用。
• 利用神经形态硬件实现在动态和低光照环境下的实时、高速场景识别。
• 开发一种利用事件相机异步稀疏数据流的SeqSLAM神经实现。
• 评估事件相机在机器人系统中用于回环检测与导航的可行性与性能。
• 展示神经形态计算在移动机器人中实现高效、低功耗场景识别的潜力。

提出的方法

• 将SeqSLAM算法改造为处理事件相机产生的异步事件数据，而非传统帧图像。
• 在神经形态硬件上实现SeqSLAM的脉冲神经网络（SNN）版本，以实现实时处理事件流。
• 在SNN中采用时间编码来表示事件序列，并生成用于比较的场景特征。
• 采用滑动窗口方法提取局部事件序列，并计算场景表征之间的相似度得分。
• 利用事件相机的高时间分辨率，在快速运动中仍能检测到回环。
• 优化神经架构以实现低延迟推理，从而在神经形态处理器上实现实时性能。

实验结果

研究问题

• RQ1 SeqSLAM算法能否有效适配至事件相机数据，而非传统帧视频？
• RQ2 如何设计SeqSLAM的神经实现，以高效处理异步、稀疏的事件流？
• RQ3 在场景识别中，使用事件相机与神经形态硬件可带来多大的速度与鲁棒性提升？
• RQ4 事件相机能否在高速运动和极端光照变化下实现可靠的回环检测？
• RQ5 SeqSLAM的神经实现能在神经形态平台上实现实时推理的同时，保持多大程度的准确性？

主要发现

• SeqSLAM的神经实现成功在神经形态硬件上实时处理事件相机数据，实现了高速场景识别。
• 与传统相机相比，事件相机在高动态范围及快速变化的光照条件下显著提升了性能。
• 基于SNN的SeqSLAM即使在高速运动中也能实现鲁棒的回环检测，而传统帧处理系统常在此类情况下失效。
• 该系统表现出低延迟推理，适用于实时机器人导航应用。
• 尽管事件数据具有稀疏性和异步性，该方法仍保持了较高的场景识别准确性。
• 结果验证了利用神经形态计算实现高效、可扩展的移动机器人场景识别的可行性。