[论文解读] Near-field Sensing Architecture for Low-Speed Vehicle Automation using a Surround-view Fisheye Camera System.

Ciarán Eising, Jonathan Horgan+1 more|arXiv (Cornell University)|Mar 31, 2021

Robotics and Sensor-Based Localization参考文献 89被引用 4

一句话总结

本文提出一种4R架构——识别（Recognition）、重建（Reconstruction）、重定位（Relocalization）和重组（Reorganization）——用于低速自动驾驶中的近场感知，采用全景鱼眼摄像头系统。该模块化框架通过协同处理鱼眼摄像头数据，提升空间理解能力和系统鲁棒性，实现高精度、近距离感知，适用于自动泊车和交通拥堵辅助等应用。

ABSTRACT

Cameras are the primary sensor in automated driving systems. They provide high information density and are optimal for detecting road infrastructure cues laid out for human vision. Surround view cameras typically comprise of four fisheye cameras with 190° field-of-view covering the entire 360° around the vehicle focused on near field sensing. They are the principal sensor for low-speed, high accuracy and close-range sensing applications, such as automated parking, traffic jam assistance and low-speed emergency braking. In this work, we describe our visual perception architecture on surround view cameras designed for a system deployed in commercial vehicles, provide a functional review of the different stages of such a computer vision system, and discuss some of the current technological challenges. We have designed our system into four modular components namely Recognition, Reconstruction, Relocalization and Reorganization. We jointly call this the 4R Architecture. We discuss how each component accomplishes a specific aspect and how they are synergized to form a complete system. Qualitative results are presented in the video at \url{this https URL}.

研究动机与目标

• 解决自动驾驶系统在视觉传感器下对高精度、低速感知的需求。
• 克服传统感知系统在近场、近距离环境中的局限性。
• 开发一种专为商用车辆部署而优化的模块化计算机视觉流水线。
• 有效整合鱼眼摄像头数据，以支持实时360°环境感知。
• 通过先进的视觉处理实现自动泊车和交通拥堵辅助中的鲁棒性能。

提出的方法

• 设计由识别、重建、重定位和重组四个模块组成的模块化4R架构。
• 采用视场角达190°的鱼眼摄像头，实现车辆周围360°的近场感知覆盖。
• 应用识别技术，检测近场范围内的道路基础设施和障碍物。
• 从多张鱼眼图像中执行三维重建，构建环境的空间表示。
• 通过视觉特征和时间一致性实现重定位，以维持一致的姿态估计。
• 通过时间与视角间的信息融合与优化，实现感知输出的重组，提升可靠性。

实验结果

研究问题

• RQ1 如何有效利用全景鱼眼摄像头系统支持低速、近场自动驾驶任务？
• RQ2 何种模块化架构能够在近距离、动态环境中实现鲁棒且精确的感知？
• RQ3 识别、重建、重定位和重组各组件如何协同作用以提升系统性能？
• RQ4 处理鱼眼摄像头数据以实现车辆实时自动化的关键技术挑战有哪些？
• RQ5 4R架构如何提升自动泊车和交通拥堵辅助中的精度与可靠性？

主要发现

• 4R架构仅依赖鱼眼摄像头即可在低速、近场场景中实现高精度感知。
• 系统能够有效处理360°鱼眼图像，支持实时自动驾驶功能。
• 模块化设计使得在商用车辆系统中实现可扩展且易于维护。
• 定性结果表明，系统在自动泊车和紧急制动场景中表现出鲁棒性能。
• 该架构解决了鱼眼图像处理中的关键挑战，如畸变校正和多视角融合。
• 通过时间一致性和几何一致性，系统实现了可靠的重定位与一致的空间理解。