[论文解读] RaLiBEV: Radar and LiDAR BEV Fusion Learning for Anchor Box Free Object Detection Systems

Yanlong Yang, Jianan Liu+4 more|arXiv (Cornell University)|Nov 11, 2022

Advanced Neural Network Applications被引用 6

一句话总结

该论文提出 RaLiBEV，一种无需锚框的鸟瞰图（BEV）融合网络，通过结合激光雷达点云与雷达距离-方位图实现自动驾驶中鲁棒的3D目标检测。通过引入一种新颖的标签分配策略（GACHIPS）和一种交互式Transformer模块（DQMITBF），RaLiBEV 在清晰和雾天测试条件下分别实现了 13.1% 和 19.0% 的 mAP 提升，达到当前最优性能。

ABSTRACT

In autonomous driving, LiDAR and radar are crucial for environmental perception. LiDAR offers precise 3D spatial sensing information but struggles in adverse weather like fog. Conversely, radar signals can penetrate rain or mist due to their specific wavelength but are prone to noise disturbances. Recent state-of-the-art works reveal that the fusion of radar and LiDAR can lead to robust detection in adverse weather. The existing works adopt convolutional neural network architecture to extract features from each sensor data, then align and aggregate the two branch features to predict object detection results. However, these methods have low accuracy of predicted bounding boxes due to a simple design of label assignment and fusion strategies. In this paper, we propose a bird's-eye view fusion learning-based anchor box-free object detection system, which fuses the feature derived from the radar range-azimuth heatmap and the LiDAR point cloud to estimate possible objects. Different label assignment strategies have been designed to facilitate the consistency between the classification of foreground or background anchor points and the corresponding bounding box regressions. Furthermore, the performance of the proposed object detector is further enhanced by employing a novel interactive transformer module. The superior performance of the methods proposed in this paper has been demonstrated using the recently published Oxford Radar RobotCar dataset. Our system's average precision significantly outperforms the state-of-the-art method by 13.1% and 19.0% at Intersection of Union (IoU) of 0.8 under 'Clear+Foggy' training conditions for 'Clear' and 'Foggy' testing, respectively.

研究动机与目标

• 为解决锚框基目标检测在恶劣天气下的局限性，特别是分类头与回归头之间的不一致性。
• 提升稀疏激光雷达点云与低分辨率雷达热图在鸟瞰图中的融合鲁棒性。
• 在保持复杂环境下高检测精度的同时，消除对预定义锚框的依赖。
• 通过对称的、可学习的查询式Transformer机制，增强雷达与激光雷达模态之间的特征交互。
• 在雾天条件下，展示出优越的泛化能力与检测精度，此时激光雷达性能显著下降。

提出的方法

• 通过柱状化将激光雷达点云转换为 BEV 特征图，实现结构化表示。
• 将雷达距离-方位热图作为自然的 BEV 表示，保留角度与距离信息。
• 采用一种新颖的标签分配策略 GACHIPS，动态对齐前景/背景分类与边界框回归，以解决损失不一致问题。
• 引入 DQMITBF 模块，一种交互式Transformer，通过可学习查询实现雷达与激光雷达特征的对称、自适应融合。
• 应用多尺度、无锚框检测头，直接从融合后的 BEV 特征预测目标类别与边界框。
• 在牛津雷达机器人车数据集上进行训练与评估，采用混合清晰与雾天数据进行鲁棒性测试。

实验结果

研究问题

• RQ1 无锚框检测框架是否能通过在鸟瞰图中融合激光雷达与雷达数据，在3D目标检测中实现更优性能？
• RQ2 像 GACHIPS 这类动态标签分配策略在端到端训练中如何提升分类头与回归头之间的一致性？
• RQ3 基于交互式Transformer的融合机制在恶劣天气下在多大程度上增强了雷达与激光雷达之间的特征交互？
• RQ4 与仅使用激光雷达或仅使用雷达的基线相比，鸟瞰图中融合雷达与激光雷达是否显著提升了雾天条件下的检测精度？
• RQ5 轻量级、对称的融合机制是否能在多传感器检测中超越复杂、非对称的Transformer融合架构？

主要发现

• 在 'Clear+Foggy' 训练与 'Clear' 测试条件下，RaLiBEV 在 IoU=0.8 时相比 SOTA 方法 mAP 提升 13.1%。
• 在 'Foggy' 测试场景中，当在 'Clear+Foggy' 数据上训练时，RaLiBEV 在 IoU=0.8 时 mAP 提升 19.0%，超过 SOTA。
• 即使在仅使用 'Clear-only' 数据训练的情况下，模型在雾天条件下的 mAP 仍达到 97.8%（IoU=0.8），展现出强大的泛化能力。
• DQMITBF 融合模块优于直接的Transformer融合方式，能够实现雷达与激光雷达特征之间的自适应、对称注意力。
• RaLiBEV 显著减少了雾天条件下的误报与方向预测颠倒问题，测试的雾天帧中仅出现一次误报，且无方向错误。
• 雷达与激光雷达的融合优于仅使用激光雷达（如 PointPillars）或仅使用雷达的基线模型，尤其在雾天场景中表现更优，证实了多模态融合的优势。