[论文解读] Surround-view Fisheye Camera Perception for Automated Driving: Overview, Survey and Challenges

Varun Ravi Kumar, Ciarán Eising+2 more|arXiv (Cornell University)|May 26, 2022

Advanced Optical Sensing Technologies被引用 5

一句话总结

本文全面介绍了自动驾驶中全景鱼眼相机感知的教程与综述，涵盖鱼眼相机的几何特性、感知任务及挑战。提出统一建模鱼眼相机的方法，倡导多相机及近场/远场融合，识别出感知失真与鸟瞰图变换中的关键开放问题。

ABSTRACT

Surround-view fisheye cameras are commonly used for near-field sensing in automated driving. Four fisheye cameras on four sides of the vehicle are sufficient to cover 360° around the vehicle capturing the entire near-field region. Some primary use cases are automated parking, traffic jam assist, and urban driving. There are limited datasets and very little work on near-field perception tasks as the focus in automotive perception is on far-field perception. In contrast to far-field, surround-view perception poses additional challenges due to high precision object detection requirements of 10cm and partial visibility of objects. Due to the large radial distortion of fisheye cameras, standard algorithms cannot be extended easily to the surround-view use case. Thus, we are motivated to provide a self-contained reference for automotive fisheye camera perception for researchers and practitioners. Firstly, we provide a unified and taxonomic treatment of commonly used fisheye camera models. Secondly, we discuss various perception tasks and existing literature. Finally, we discuss the challenges and future direction.

研究动机与目标

• 解决自动驾驶中全景鱼眼相机感知领域综合性资源匮乏的问题。
• 提出鱼眼相机模型的统一分类法，包括等距投影、横轴等距投影和等面积投影。
• 综述现有感知算法在鱼眼数据上的应用，涵盖目标检测、跟踪和鸟瞰图变换等任务。
• 识别关键挑战，如高径向畸变、外观变化以及多相机设置下的时间不一致性。
• 提出未来研究方向，包括联合多相机建模与统一的近场与远场感知框架。

提出的方法

• 基于其几何投影方程，系统性地分类并比较主要鱼眼相机模型（等距投影、横轴等距投影、等面积投影）。
• 回顾通过校正、可学习空间变换或端到端失真感知网络来处理鱼眼畸变的感知流水线。
• 分析标准IPM（逆透视映射）在鱼眼相机上应用时的局限性，因其非线性畸变而提出可学习校正层作为更灵活的替代方案。
• 提出多相机联合建模方法，联合处理四个全景鱼眼相机的数据，以提升多相机可见目标的检测能力并减少重识别开销。
• 强调开发端到端学习框架的重要性，以隐式处理从鱼眼到鸟瞰图的非线性变换，而无需依赖几何近似。
• 强调开发包含近场（鱼眼）和远场（针孔）相机的数据集与基准的重要性，以实现统一感知。

实验结果

研究问题

• RQ1 如何系统性地分类和统一鱼眼相机模型，以实现在自动驾驶中的一致性感知？
• RQ2 将标准感知算法（如目标检测、跟踪）适配到鱼眼相机的高径向畸变和空间变化外观时，面临哪些关键挑战？
• RQ3 如何联合建模多相机全景视觉系统，以提升检测精度并降低跨相机重识别的复杂度？
• RQ4 现有鸟瞰图变换方法（如IPM）在应用于鱼眼相机时存在哪些局限性？如何通过可学习的端到端方法加以克服？
• RQ5 在下一代自动驾驶系统中，统一近场（鱼眼）与远场（针孔）相机感知面临哪些开放挑战？

主要发现

• 鱼眼相机广泛应用于自动驾驶中以实现360°近场覆盖，但由于复杂的径向畸变和缺乏标准化工具，其在研究中仍被严重低估。
• 专为针孔相机设计的标准感知算法在鱼眼数据上表现失败，因其存在严重的径向畸变，需依赖专门的建模与校正技术。
• 多相机联合建模通过利用多个鱼眼相机之间的重叠视图，提升了大型车辆的检测能力，并减少了重识别错误。
• 考虑非线性鱼眼畸变的可学习空间变换层，在鸟瞰图特征变换中优于传统像素级IPM。
• 目前尚无公开数据集同时包含近场（鱼眼）和远场（针孔）相机，这成为统一感知研究的主要障碍。
• 由于径向畸变导致的显著外观变化，鱼眼相机在跟踪与重识别中的时间一致性显著下降，亟需具备畸变感知的特征编码方法。