[论文解读] Tightly-Coupled Radar-Visual-Inertial Odometry

M. Nissov, Mohit Singh+1 more|arXiv (Cornell University)|Mar 24, 2026

Robotics and Sensor-Based Localization被引用 0

一句话总结

本文提出 RadVIO，一种紧耦合的雷达-视觉-惯性里程计系统，在 IEKF 中融合图像特征、雷达多普勒和 IMU 数据，雷达辅助图像深度初始化，在室内/室外飞行中进行评估。

ABSTRACT

Visual-Inertial Odometry (VIO) is a staple for reliable state estimation on constrained and lightweight platforms due to its versatility and demonstrated performance. However, pertinent challenges regarding robust operation in dark, low-texture, obscured environments complicate the use of such methods. Alternatively, Frequency Modulated Continuous Wave (FMCW) radars, and by extension Radar-Inertial Odometry (RIO), offer robustness to these visual challenges, albeit at the cost of reduced information density and worse long-term accuracy. To address these limitations, this work combines the two in a tightly coupled manner, enabling the resulting method to operate robustly regardless of environmental conditions or trajectory dynamics. The proposed method fuses image features, radar Doppler measurements, and Inertial Measurement Unit (IMU) measurements within an Iterated Extended Kalman Filter (IEKF) in real-time, with radar range data augmenting the visual feature depth initialization. The method is evaluated through flight experiments conducted in both indoor and outdoor environments, as well as through challenges to both exteroceptive modalities (such as darkness, fog, or fast flight), thoroughly demonstrating its robustness. The implementation of the proposed method is available at: https://github.com/ntnu-arl/radvio.

研究动机与目标

• 通过利用 FMCW 雷达在黑暗、低纹理和遮挡条件下提升视觉-惯性里程计的鲁棒性。
• 开发一个紧耦合融合框架，联合估计雷达与视觉外参。
• 使用稀疏雷达点云为单目特征提供深度初始化。
• 通过飞行实验展示实时性能和在线雷达-IMU 外参自标定与 refinement。

提出的方法

• 在 Iterated Extended Kalman Filter (IEKF) 中融合图像特征测量、雷达径向速度测量和 IMU 数据。
• 用滑动窗口雷达体素地图推导的深度估计来增强视觉特征深度初始化。
• 采用 robocentric 形式化表示状态，以减少线性化误差并将长时刻的偏航漂移与速度估计解耦。
• 用一个径向速度测量函数对雷达更新建模，将自标定速度与多普勒测量相关联，并为 IEKF 更新推导相应的雅可比矩阵。
• 提供在线雷达-IMU 与雷达-相机变换的外参标定能力，以减小因误标定导致的漂移。

实验结果

研究问题

• RQ1 紧耦合的雷达-视觉-惯性融合是否能在不同光照、纹理和遮挡条件下提升里程计鲁棒性？
• RQ2 如何将雷达径向速度测量与视觉特征共同集成到 IEKF 中以实现实时状态估计？
• RQ3 是否能够通过稀疏雷达点云的深度初始化提升单目特征的深度初始化？
• RQ4 在线雷达-IMU 与雷达-相机外参细化是否有助于降低 RadVIO 的漂移？

主要发现

• RadVIO 相较于 VIO 在多段飞行序列（Forest、Indoors、Field）中在长期精度方面有提升，相较于 RIO 在短期精度方面也有提升。
• 雷达径向速度更新即使在雷达点稀疏的情况下也提供鲁棒的速度信息，助力姿态估计。
• 在线外参细化有助于当初始标定不精确时减小漂移，趋于正确的外参。
• 在光照差和遮挡场景（黑暗、雾）中，RadVIO 能在 Vision-only 方法失败和 Radar-only 方法困难时仍保持定位。
• 该方法在室内外飞行测试中对不同传感模态表现出鲁棒性。