[论文解读] The Event-Camera Dataset: Event-based Data for Pose Estimation, Visual Odometry, and SLAM

Elias Mueggler, Henri Rebecq+3 more|arXiv (Cornell University)|Oct 26, 2016

Advanced Memory and Neural Computing被引用 4

一句话总结

本文介绍了Event-Camera Dataset，这是一个使用DAVIS传感器捕获的多模态数据集，结合了基于事件的成像与传统的全局快门成像，同时包含惯性测量数据和来自动作捕捉系统的真值位姿。该数据集通过提供同步的事件流、强度帧、IMU数据以及精确的位姿标签，支持高速、高动态范围机器人技术的研究，可用于评估位姿估计、视觉里程计和SLAM算法。

ABSTRACT

New vision sensors, such as the Dynamic and Active-pixel Vision sensor (DAVIS), incorporate a conventional global-shutter camera and an event-based sensor in the same pixel array. These sensors have great potential for high-speed robotics and computer vision because they allow us to combine the benefits of conventional cameras with those of event-based sensors: low latency, high temporal resolution, and very high dynamic range. However, new algorithms are required to exploit the sensor characteristics and cope with its unconventional output, which consists of a stream of asynchronous brightness changes (called events) and synchronous grayscale frames. For this purpose, we present and release a collection of datasets captured with a DAVIS in a variety of synthetic and real environments, which we hope will motivate research on new algorithms for high-speed and high-dynamic-range robotics and computer-vision applications. In addition to global-shutter intensity images and asynchronous events, we provide inertial measurements and ground-truth camera poses from a motion-capture system. The latter allows comparing the pose accuracy of ego-motion estimation algorithms quantitatively. All the data are released both as standard text files and binary files (i.e., rosbag). This paper provides an overview of the available data and describes a simulator that we release open-source to create synthetic event-camera data.

研究动机与目标

• 为解决事件视觉领域缺乏标准化多模态数据集的问题，提供同步的事件、图像、IMU和真值位姿数据的综合集合。
• 支持在高速和高动态范围环境中，位姿估计、视觉里程计和SLAM新算法的开发与评估。
• 通过引入来自动作捕捉系统的真值相机位姿，实现对自运动估计算法的定量比较。
• 通过发布开源模拟器，支持合成数据生成，以促进算法验证。
• 通过以标准文本和二进制（rosbag）格式发布数据，提升数据的广泛可访问性，推动事件视觉计算研究。

提出的方法

• 数据集使用DAVIS传感器采集，该传感器在单个像素阵列中集成了全局快门相机和基于事件的传感器。
• 数据集包含表示亮度变化的异步事件流、同步的灰度强度帧、来自IMU的惯性测量数据，以及来自动作捕捉系统的真值相机位姿。
• 所有数据均以文本和二进制（rosbag）格式发布，以支持与常见机器人和计算机视觉软件栈的集成。
• 开发了开源模拟器，用于生成合成事件相机数据，支持受控实验和算法验证。
• 数据集涵盖多样化的合成与真实世界环境，以支持在不同光照、运动和场景复杂度条件下的算法稳健性评估。
• 真值位姿的引入使得能够对自运动估计性能进行定量基准测试。

实验结果

研究问题

• RQ1 如何有效结合基于事件的成像与传统成像数据，以提升机器人在高速运动中的估计性能？
• RQ2 高时间分辨率和高动态范围对挑战性环境中视觉里程计和SLAM性能有何影响？
• RQ3 利用动作捕捉系统提供的真值位姿，自运动估计算法的评估精度如何？
• RQ4 开源模拟器生成的合成事件相机数据在多大程度上能复现真实传感器的特性？
• RQ5 在实时应用中，处理异步事件流与同步图像帧面临哪些实际挑战？

主要发现

• 该数据集提供了一个全面的多模态资源，整合了基于事件的数据、强度帧、IMU测量数据和真值位姿，适用于高速和高动态范围的应用。
• 真值位姿的引入使得能够对位姿估计算法进行精确的定量评估，这对基准测试至关重要。
• 同时提供文本和二进制（rosbag）格式，增强了与现有机器人和计算机视觉框架的兼容性。
• 开源模拟器使研究人员能够生成合成事件相机数据，用于受控的算法开发与测试。
• 数据集覆盖多样化的环境，支持在不同光照、运动和场景复杂度下对算法进行稳健评估。
• 事件成像与传统成像数据的融合，为高速和低延迟机器人技术开辟了新的研究方向。