[论文解读] PIRVS: An Advanced Visual-Inertial SLAM System with Flexible Sensor Fusion and Hardware Co-Design

Zhe Zhang, Shaoshan Liu+4 more|arXiv (Cornell University)|Oct 2, 2017

Robotics and Sensor-Based Localization参考文献 10被引用 5

一句话总结

PIRVS 是一种软硬件协同设计的视觉-惯性 SLAM 系统，集成了多核处理器、全局快门立体相机和同步 IMU，可在实时环境中实现 SLAM。它采用灵活的传感器融合机制，紧密耦合视觉与惯性数据，同时松散集成其他传感器，实现了在通用 PC 上的最先进精度，以及在专用硬件平台上的卓越效率。

ABSTRACT

In this paper, we present the PerceptIn Robotics Vision System (PIRVS) system, a visual-inertial computing hardware with embedded simultaneous localization and mapping (SLAM) algorithm. The PIRVS hardware is equipped with a multi-core processor, a global-shutter stereo camera, and an IMU with precise hardware synchronization. The PIRVS software features a novel and flexible sensor fusion approach to not only tightly integrate visual measurements with inertial measurements and also to loosely couple with additional sensor modalities. It runs in real-time on both PC and the PIRVS hardware. We perform a thorough evaluation of the proposed system using multiple public visual-inertial datasets. Experimental results demonstrate that our system reaches comparable accuracy of state-of-the-art visual-inertial algorithms on PC, while being more efficient on the PIRVS hardware.

研究动机与目标

• 开发一种面向嵌入式机器人应用的实时视觉-惯性 SLAM 系统，实现软硬件协同设计。
• 实现灵活的传感器融合，紧密集成视觉与惯性测量，同时支持与其他传感器模态的松散耦合。
• 在通用 PC 上实现与最先进算法相当的高精度，同时在专用嵌入式硬件上提升计算效率。
• 提供一个完整且可部署的系统，可在标准 PC 和专用 PIRVS 硬件平台上高效运行。

提出的方法

• 系统使用多核处理器处理视觉与惯性数据流的实时处理。
• 全局快门立体相机捕获高速、无运动模糊的图像，实现鲁棒的视觉特征跟踪。
• 具备精确硬件同步的 IMU 提供与图像帧时间对齐的高精度惯性测量。
• 软件实现了一种新型传感器融合框架，基于因子图优化方法，紧密集成视觉与惯性测量。
• 通过模块化接口松散耦合额外传感器模态，支持可扩展性，同时不破坏核心 SLAM 流水线。
• 系统在标准 PC 和专用 PIRVS 嵌入式硬件平台上进行部署与评估，以进行性能对比分析。

实验结果

研究问题

• RQ1 如何在专用嵌入式硬件平台上高效实现视觉-惯性 SLAM，以实现最小延迟和高吞吐量？
• RQ2 在嵌入式硬件上，紧密融合的视觉-惯性系统能达到何种精度水平，与最先进的 PC 基实现相比如何？
• RQ3 传感器融合在多大程度上可实现灵活性，以同时支持核心传感器的紧密集成与额外模态的松散耦合？
• RQ4 软硬件协同设计在视觉-惯性 SLAM 系统中如何提升计算效率与实时性能？
• RQ5 统一的软件栈是否能在通用平台与专用嵌入式平台之间高效运行，而无需显著重新实现？

主要发现

• PIRVS 系统在标准 PC 上运行时，其精度与最先进的视觉-惯性 SLAM 算法相当。
• 在专用 PIRVS 硬件平台上，系统相比 PC 执行展现出显著提升的计算效率。
• 硬件同步的多传感器配置（立体相机 + IMU）实现了鲁棒且低延迟的数据融合，减少了 SLAM 估计中的漂移。
• 灵活的传感器融合框架成功支持视觉与惯性数据的紧密集成，以及与额外传感器的松散耦合，增强了系统可扩展性。
• 系统在 PC 和嵌入式硬件上均保持了实时性能，验证了软硬件协同设计方法的有效性。
• 在多个公开的视觉-惯性数据集上的评估证实，该系统在多样化环境和运动轨迹下均表现出鲁棒性与高精度。