[论文解读] Radar+RGB Attentive Fusion for Robust Object Detection in Autonomous Vehicles

Ritu Yadav, Axel Vierling+1 more|arXiv (Cornell University)|Aug 31, 2020

Advanced Neural Network Applications被引用 9

一句话总结

本文提出RANet和BIRANet，两种用于自动驾驶中鲁棒目标检测的RGB-雷达注意力融合网络。通过在主干网络早期融合雷达点云与RGB特征，并采用雷达引导的锚框及新颖的“最佳二者选一”RPN目标生成策略，BIRANet在NuScenes数据集上达到72.3%的平均AP，优于使用FPN的Faster R-CNN，同时展现出对噪声和恶劣天气的强鲁棒性。

ABSTRACT

This paper presents two variations of architecture referred to as RANet and BIRANet. The proposed architecture aims to use radar signal data along with RGB camera images to form a robust detection network that works efficiently, even in variable lighting and weather conditions such as rain, dust, fog, and others. First, radar information is fused in the feature extractor network. Second, radar points are used to generate guided anchors. Third, a method is proposed to improve region proposal network targets. BIRANet yields 72.3/75.3% average AP/AR on the NuScenes dataset, which is better than the performance of our base network Faster-RCNN with Feature pyramid network(FFPN). RANet gives 69.6/71.9% average AP/AR on the same dataset, which is reasonably acceptable performance. Also, both BIRANet and RANet are evaluated to be robust towards the noise.

研究动机与目标

• 解决单模态目标检测器在自动驾驶中常见的恶劣天气和低光照条件下性能受限的问题。
• 利用雷达（远距离、抗恶劣天气）与RGB相机（高分辨率、语义丰富）的互补优势，提升检测可靠性。
• 开发一种融合框架，不仅利用雷达数据增强特征，还用于引导锚框生成并提升区域建议质量。
• 通过利用高置信度雷达点数据进行检测监督和建议框优化，提升对传感器噪声和环境退化因素的鲁棒性。
• 在基于Faster R-CNN与特征金字塔网络（FPN）的融合架构上，于NuScenes基准上实现最先进性能。

提出的方法

• 将雷达点云从车辆坐标系转换至相机视角坐标系，以与RGB图像特征对齐。
• 将雷达点转换为1通道特征图，其中每个点的距离（z）在对应（x,y）位置进行嵌入，支持端到端CNN处理。
• 在网络早期阶段对RGB与雷达特征图进行逐元素融合，实现在特征提取过程中跨模态特征学习。
• 仅在检测到雷达点的位置生成雷达引导的锚框，减少冗余建议框并提高定位精度。
• 提出一种“最佳二者选一”RPN目标生成策略，从两个候选锚框（一个来自RGB，一个来自雷达）中选择最优者，以提升正样本质量。
• 采用两阶段训练流程：首先在COCO数据集上使用ResNet-50对FPN进行预训练，然后在NuScenes上使用RGB与雷达输入进行微调。

实验结果

研究问题

• RQ1 早期融合雷达与RGB特征是否能提升在恶劣天气和低光照条件下的目标检测鲁棒性？
• RQ2 与标准锚框方法相比，利用雷达点引导锚框生成对检测精度与效率有何影响？
• RQ3 雷达引导的RPN目标生成在多大程度上提升了正样本质量并减少了误报？
• RQ4 与基线RGB-only检测器相比，所提出的融合架构在添加噪声和极端环境退化条件下的表现如何？
• RQ5 所提出方法在NuScenes基准上是否能在平均精度与鲁棒性方面超越现有RGB-雷达融合方法？

主要发现

• BIRANet在NuScenes数据集上达到72.3%的平均AP与75.3%的平均AR，优于基线Faster R-CNN+FPN（69.7% AP）。
• RANet达到69.6%的平均AP与71.9%的平均AR，尽管仅使用雷达引导锚框，仍表现出强劲性能。
• 在添加高斯噪声与模糊噪声后，BIRANet的性能下降幅度小于FFPN，证实其对传感器退化的鲁棒性。
• 在低分辨率512×512图像下，BIRANet保持优越性能（68.7% AP），优于FFPN（65.4% AP），表明其在低带宽场景下的高效性。
• 可视化分析表明，由于雷达引导的建议框生成，BIRANet能检测到FFPN遗漏的目标，尤其在遮挡或低能见度情况下。
• “最佳二者选一”RPN目标生成方法提升了正样本质量，是性能提升的关键因素之一。