[论文解读] Pixel-level Extrinsic Self Calibration of High Resolution LiDAR and Camera in Targetless Environments

Chongjian Yuan, Xiyuan Liu+2 more|arXiv (Cornell University)|Mar 2, 2021

Robotics and Sensor-Based Localization参考文献 23被引用 19

一句话总结

本文提出了一种无需标定目标、基于自然边缘特征的高分辨率激光雷达与相机系统像素级外部参数标定方法。通过利用一种基于体素切割与平面拟合的新型激光雷达边缘提取技术，该方法在不依赖国际象棋板或人工标记的情况下实现了像素级精度，且在多种室内外场景中表现出鲁棒性和一致性。

ABSTRACT

In this letter, we present a novel method for automatic extrinsic calibration of high-resolution LiDARs and RGB cameras in targetless environments. Our approach does not require checkerboards but can achieve pixel-level accuracy by aligning natural edge features in the two sensors. On the theory level, we analyze the constraints imposed by edge features and the sensitivity of calibration accuracy with respect to edge distribution in the scene. On the implementation level, we carefully investigate the physical measuring principles of LiDARs and propose an efficient and accurate LiDAR edge extraction method based on point cloud voxel cutting and plane fitting. Due to the edges' richness in natural scenes, we have carried out experiments in many indoor and outdoor scenes. The results show that this method has high robustness, accuracy, and consistency. It can promote the research and application of the fusion between LiDAR and camera. We have open-sourced our code on GitHub to benefit the community.

研究动机与目标

• 解决基于标定目标的方法的局限性，这些方法需要外部标记（如国际象棋板），在动态或远距离应用中不切实际。
• 克服由高分辨率激光雷达点云中深度不连续边缘（尤其是固态激光雷达如Livox）引入的不稳定性和不准确性。
• 开发一种适用于真实环境中旋转式与固态激光雷达的鲁棒、自动且无标定目标的标定方法。
• 通过分析边缘分布约束并引入精确的激光雷达噪声模型，确保外部参数标定的高精度与一致性。
• 通过消除对预先放置标定目标的依赖，实现在野外或数据采集过程中的在线标定。

提出的方法

• 提出一种基于体素切割与平面拟合的深度连续边缘提取方法，以提高在深度不连续性基础上的边缘检测方法的可靠性。
• 利用自然2D图像边缘与3D激光雷达边缘作为对应点，在非线性优化框架中最小化重投影误差。
• 引入基于物理的激光雷达噪声模型，以提升标定精度与收敛稳定性。
• 将标定问题建模为非线性最小二乘优化问题，以最小化2D图像边缘与其在3D中的投影之间的重投影误差。
• 采用鲁棒的初始化策略，通过在旋转方向±3°和在平移方向±5 cm范围内进行随机扰动，以评估收敛鲁棒性。
• 在Livox Avia与Ouster OS2-64激光雷达上验证该方法，证明其在不同激光雷达类型（包括低分辨率旋转式传感器）中的适用性，尤其当结合运动辅助配准以提升点云分辨率时。

实验结果

研究问题

• RQ1 在非结构化场景中，自然边缘特征是否能提供足够且可靠的约束，以实现无需人工目标的高精度外部参数标定？
• RQ2 场景中边缘的分布与方向如何影响激光雷达-相机标定的精度与稳定性？
• RQ3 基于体素切割与平面拟合的深度连续边缘提取方法，是否比基于深度不连续性的边缘检测方法在高分辨率激光雷达中更具准确性和可靠性？
• RQ4 所提方法是否能在真实世界、多样化环境中实现与基于标定目标方法相当的像素级标定精度？
• RQ5 该方法对初始化不确定性与传感器噪声的鲁棒性如何，特别是在远距离或稀疏点云场景中？

主要发现

• 所提方法在室内外场景中均实现了像素级标定精度，其性能与基于标定目标的方法（如ACSC和Zhou [6]）相当或更优。
• 该方法表现出高度鲁棒性，在20组不同的随机初始化（旋转±3°，平移±5 cm）下均能收敛至一致的外部参数。
• 在Ouster OS2-64激光雷达上的实验表明，即使在较低分辨率扫描下，结合激光雷达-惯性里程计以增强点云分辨率，该方法依然有效。
• 通过体素切割与平面拟合提取的深度连续边缘，相比基于深度不连续性的边缘检测方法，能带来显著更可靠的标定结果。
• 定量对比显示，所提方法与基于标定目标方法的残差分布相似，且仅使用一组数据对即可实现与基于标定目标方法（需多次放置）相当的精度。
• 该方法成功缓解了激光束发散的影响，表现为点云着色一致，且测量到的点云膨胀宽度（6米处1.4 cm）与理论束发散角（0.28°半角）一致。