[论文解读] Radar-Camera Fusion for Object Detection and Semantic Segmentation in Autonomous Driving: A Comprehensive Review

Shanliang Yao, Runwei Guan+9 more|arXiv (Cornell University)|Apr 20, 2023

Advanced Neural Network Applications参考文献 310被引用 7

一句话总结

本综述全面整合了自动驾驶中用于目标检测与语义分割的先进雷达-相机融合方法，分析了融合原理、数据表征、数据集及方法论。文章回答了‘为何、何物、何处、何时、如何融合’等关键问题，并指出了开放世界感知与边缘部署等开放挑战，同时提供了一个交互式网站以对比数据集与方法。

ABSTRACT

Driven by deep learning techniques, perception technology in autonomous driving has developed rapidly in recent years, enabling vehicles to accurately detect and interpret surrounding environment for safe and efficient navigation. To achieve accurate and robust perception capabilities, autonomous vehicles are often equipped with multiple sensors, making sensor fusion a crucial part of the perception system. Among these fused sensors, radars and cameras enable a complementary and cost-effective perception of the surrounding environment regardless of lighting and weather conditions. This review aims to provide a comprehensive guideline for radar-camera fusion, particularly concentrating on perception tasks related to object detection and semantic segmentation.Based on the principles of the radar and camera sensors, we delve into the data processing process and representations, followed by an in-depth analysis and summary of radar-camera fusion datasets. In the review of methodologies in radar-camera fusion, we address interrogative questions, including "why to fuse", "what to fuse", "where to fuse", "when to fuse", and "how to fuse", subsequently discussing various challenges and potential research directions within this domain. To ease the retrieval and comparison of datasets and fusion methods, we also provide an interactive website: https://radar-camera-fusion.github.io.

研究动机与目标

• 系统且全面地综述自动驾驶感知中雷达-相机融合技术。
• 回答雷达与相机数据融合的五大核心研究问题：‘为何、何物、何处、何时、如何融合’。
• 深入分析雷达与相机的数据表征、信号处理及融合方法论。
• 识别雷达-相机融合中的关键挑战，包括传感器限制、数据集稀缺性及开放世界感知问题。
• 通过提出多任务学习、4D雷达及高效边缘部署等方向，为未来研究提供指导。

提出的方法

• 基于融合层级（早期、晚期、混合）与模态交互策略，系统分类并分析雷达-相机融合方法。
• 回顾雷达信号处理流程，包括差拍频率、多普勒处理，以及从I/Q数据生成点云的过程。
• 评估现有数据集（如nuScenes、KITTI、nuTonomy）在雷达-相机融合中的适用性，突出数据可用性、标注质量及稀疏性问题。
• 通过回答五大核心问题（为何、何物、何处、何时、如何融合）构建结构化融合框架。
• 推出一个交互式网站（https://radar-camera-fusion.github.io），用于目录化与对比数据集及融合方法。
• 讨论模型压缩与加速技术（如剪枝、量化），以实现在边缘设备上部署融合模型。

实验结果

研究问题

• RQ1 为何在恶劣条件下雷达-相机融合对实现鲁棒的自动驾驶感知至关重要？
• RQ2 结合雷达与相机模态时，最优的数据表征与融合层级是什么？
• RQ3 如何将雷达-相机融合有效应用于2D与3D目标检测及语义分割任务？
• RQ4 雷达-相机融合中的关键挑战有哪些，包括传感器限制、数据集稀缺性及开放世界泛化能力？
• RQ5 如何在资源受限的边缘设备上实现实时自动驾驶系统中的高效融合模型部署？

主要发现

• 雷达-相机融合可在全天候、全天时条件下实现感知，二者优势互补：相机提供丰富的语义信息，雷达则在能见度低时仍能稳健估计速度与距离。
• 现有雷达-相机融合数据集在规模、标注质量及雷达数据密度方面仍显不足，制约了方法开发与基准测试。
• 基于LiDAR的融合方法难以泛化至雷达，因其在点云稀疏性与信号特性方面存在根本差异。
• 4D雷达传感器正成为有前景的替代方案，其提供更密集的点云与更高分辨率，从而提升目标几何估计性能。
• 雷达-相机融合中的多任务学习是一条有前景但尚未充分探索的方向，可通过共享特征学习提升效率与性能。
• 融合模型的边缘部署仍是重大挑战，目前仅有一项研究报道在Jetson AGX TX2上实现11 Hz的推理速度，凸显了对模型压缩与优化的迫切需求。