[论文解读] Online Self-Calibration for Visual-Inertial Navigation Systems: Models, Analysis and Degeneracy

Yulin Yang, Patrick Geneva+2 more|arXiv (Cornell University)|Jan 23, 2022

Advanced Vision and Imaging被引用 6

一句话总结

本文提出了一套针对视觉-惯性导航系统（VINS）的全面可观测性分析与在线自标定框架，涵盖完整的传感器标定，包括IMU和相机内参、IMU-相机外参、时间偏移以及滚动快门读出时间。研究识别出导致IMU与相机内参不可观测的退化运动模式，表明当运动完全激励时，在线标定可显著提升低精度传感器的精度与鲁棒性，但在欠驱动运动（如平面运动或单轴旋转）中则存在性能退化风险。

ABSTRACT

In this paper, we study in-depth the problem of online self-calibration for robust and accurate visual-inertial state estimation. In particular, we first perform a complete observability analysis for visual-inertial navigation systems (VINS) with full calibration of sensing parameters, including IMU and camera intrinsics and IMU-camera spatial-temporal extrinsic calibration, along with readout time of rolling shutter (RS) cameras (if used). We investigate different inertial model variants containing IMU intrinsic parameters that encompass most commonly used models for low-cost inertial sensors. The observability analysis results prove that VINS with full sensor calibration has four unobservable directions, corresponding to the system's global yaw and translation, while all sensor calibration parameters are observable given fully-excited 6-axis motion. Moreover, we, for the first time, identify primitive degenerate motions for IMU and camera intrinsic calibration. Each degenerate motion profile will cause a set of calibration parameters to be unobservable and any combination of these degenerate motions are still degenerate. Extensive Monte-Carlo simulations and real-world experiments are performed to validate both the observability analysis and identified degenerate motions, showing that online self-calibration improves system accuracy and robustness to calibration inaccuracies. We compare the proposed online self-calibration on commonly-used IMUs against the state-of-art offline calibration toolbox Kalibr, and show that the proposed system achieves better consistency and repeatability. Based on our analysis and experimental evaluations, we also provide practical guidelines for how to perform online IMU-camera sensor self-calibration.

研究动机与目标

• 对包含IMU与相机参数完整标定的VINS进行完整的可观测性分析，涵盖内参、外参、时间偏移与滚动快门读出时间。
• 研究低成本IMU的多种惯性模型变体，涵盖尺度校正、轴向错位与重力敏感性。
• 识别出导致IMU与相机内参不可观测的原始退化运动模式，尤其针对欠驱动机器人平台。
• 通过EuRoC MAV与KAIST Urban数据集上的大量蒙特卡洛仿真与真实世界实验，验证可观测性与退化性分析。
• 为实时VINS应用中的在线自标定提供实用指导，尤其针对自主地面与空中车辆。

提出的方法

• 针对线性化VINS模型，解析推导状态转移矩阵与视觉测量雅可比矩阵，包含完整标定参数。
• 对线性化系统执行可观测性分析，以确定不可观测方向，确认存在四种不可观测模式：全局偏航与全局平移。
• 利用可观测性分析框架，识别IMU与相机内参标定的原始退化运动模式。
• 将退化运动组合以分析复杂不可观测场景，尤其适用于受限机器人运动。
• 在实时VINS流水线中实现在线自标定，并与真实数据集上的离线标定（Kalibr）进行对比。
• 通过蒙特卡洛仿真与真实世界实验，验证理论发现，并评估不同运动剖面下的性能表现。

实验结果

研究问题

• RQ1 在完整参数标定的VINS中，不可观测方向是什么？它们如何与系统状态和标定参数相关联？
• RQ2 哪些运动剖面会导致退化状态，从而阻碍IMU与相机内参的可观测性？
• RQ3 在不同运动激励下，尤其是欠驱动机器人平台中，在线自标定如何影响VINS的精度与鲁棒性？
• RQ4 在线标定能否提升低成本IMU与滚动快门相机的性能？在何种运动条件下其收益最大？
• RQ5 可为实际机器人系统中部署在线自标定提供哪些实用指导？

主要发现

• 可观测性分析确认，完整参数标定的VINS仅存在四种不可观测方向——全局偏航与全局平移——而在六自由度完全激励运动下，所有标定参数均可观测。
• 首次识别出导致IMU与相机内参不可观测的原始退化运动模式，并表明其组合可保持不可观测性。
• 当运动完全激励时，在线自标定显著提升系统精度与鲁棒性，尤其对低端IMU（如Bosch BMI160）效果明显。
• 在欠驱动运动（如平面运动或单轴旋转，常见于地面与空中车辆）中，在线IMU内参标定可能导致性能下降，因此不推荐使用。
• 具备完整六自由度运动的手持应用可从在线标定中获益，尤其在IMU与相机内参方面，因激励更充分。
• 本研究建议在在线设置中仅标定IMU的主要参数（如偏置与尺度），而非完整模型，尤其在退化运动条件下。