[论文解读] Online Extrinsic Camera Calibration for Temporally Consistent IPM Using Lane Boundary Observations with a Lane Width Prior

Jeong-Kyun Lee, Young Ki Baik+2 more|arXiv (Cornell University)|Aug 9, 2020

Advanced Vision and Imaging参考文献 23被引用 4

一句话总结

本文提出了一种在线外部相机标定方法，通过车道边界观测和车道宽度先验，估计俯仰角、偏航角、翻滚角和相机高度，从而实现在自动驾驶中时序一致的逆透视映射（IPM）。通过结合基于消失点估计的俯仰/偏航方法以及利用扩展卡尔曼滤波（EKF）优化翻滚角/相机高度的方法，该方法在存在噪声和运动变化的情况下仍能实现亚度级精度和厘米级稳定性。

ABSTRACT

In this paper, we propose a method for online extrinsic camera calibration, i.e., estimating pitch, yaw, roll angles and camera height from road surface in sequential driving scene images. The proposed method estimates the extrinsic camera parameters in two steps: 1) pitch and yaw angles are estimated simultaneously using a vanishing point computed from a set of lane boundary observations, and then 2) roll angle and camera height are computed by minimizing difference between lane width observations and a lane width prior. The extrinsic camera parameters are sequentially updated using extended Kalman filtering (EKF) and are finally used to generate a temporally consistent bird-eye-view (BEV) image by inverse perspective mapping (IPM). We demonstrate the superiority of the proposed method in synthetic and real-world datasets.

研究动机与目标

• 解决由于振动和环境变化导致的驾驶过程中外部相机参数漂移的挑战。
• 实现实时、自动的标定，无需人工干预，这对ADAS和自动驾驶系统的安全性至关重要。
• 通过在线估计全部四个外部参数（俯仰角、偏航角、翻滚角、高度），实现时序一致的鸟瞰图（BEV）图像。
• 利用车道宽度作为先验，提升在动态驾驶条件下估计的精度和鲁棒性。
• 确保IPM输出的时序一致性，防止BEV图像中出现车道宽度波动和尺度失真。

提出的方法

• 使用基于全卷积神经网络的分割模型检测输入图像中的车道边界。
• 利用RANSAC和高斯球面理论估计平行车道边界的消失点（VP），以增强对噪声的鲁棒性。
• 根据消失点方向与相机前向向量的相对关系计算俯仰角和偏航角。
• 利用估计的俯仰角和偏航角，通过最小化观测车道宽度与先验车道宽度之间的差异，计算翻滚角和相机高度。
• 应用扩展卡尔曼滤波（EKF）按顺序更新外部参数，确保时序一致性。
• 利用更新后的参数通过逆透视映射（IPM）生成时序稳定的BEV图像。

实验结果

研究问题

• RQ1 是否可以仅使用车道边界观测在线估计全部四个外部相机参数（俯仰角、偏航角、翻滚角、相机高度）？
• RQ2 当俯仰角和偏航角已知时，如何有效利用车道宽度先验来估计翻滚角和相机高度？
• RQ3 在相机运动和图像噪声存在的情况下，该方法能否生成时序一致的BEV图像？
• RQ4 在不同图像噪声水平和真实驾驶条件下，参数估计的精度如何？
• RQ5 使用EKF在多大程度上提升了校准结果的时序稳定性？

主要发现

• 即使在高噪声条件下（σ² = 9像素），该方法对俯仰角和偏航角的均方根误差（RMSE）仍低于0.2度，对相机高度的RMSE低于1.5厘米。
• 在合成数据集中，当σ² = 9时，翻滚角的RMSE保持在0.114度以下，高度的RMSE低于1.4厘米，表明对噪声具有强鲁棒性。
• 由该方法生成的BEV图像在帧间表现出一致的车道宽度，且波动极小，即使存在运动变化也保持稳定。
• 在真实世界数据集（Test1和Test2）中，与使用预标定参数的基线IPM相比，该方法显著提升了BEV图像质量，消除了尺度不一致问题。
• 估计的外部参数与通过人工标注车道边界推导出的伪真实值高度吻合，验证了在真实数据上的准确性。
• 使用EKF确保了参数更新的平滑性和时序一致性，避免了BEV输出中出现突兀跳变。