[论文解读] Reviewing 3D Object Detectors in the Context of High-Resolution 3+1D Radar

Patrick Palmer, Martin Krueger+3 more|arXiv (Cornell University)|Aug 10, 2023

Advanced SAR Imaging Techniques被引用 4

一句话总结

本文在高分辨率3+1D雷达点云上评估了原本为激光雷达点云设计的十种3D目标检测器，对其适配雷达数据并评估在两个数据集上的性能。主要发现表明，没有单一模型在所有情况下表现更优，其中PV-RCNN和Voxel R-CNN展现出更强的鲁棒性，而PointRCNN表现较差；雷达数据中的噪声和稀疏性显著降低检测精度，表明需要针对雷达设计专用的网络结构以缩小与激光雷达的性能差距。

ABSTRACT

Recent developments and the beginning market introduction of high-resolution imaging 4D (3+1D) radar sensors have initialized deep learning-based radar perception research. We investigate deep learning-based models operating on radar point clouds for 3D object detection. 3D object detection on lidar point cloud data is a mature area of 3D vision. Many different architectures have been proposed, each with strengths and weaknesses. Due to similarities between 3D lidar point clouds and 3+1D radar point clouds, those existing 3D object detectors are a natural basis to start deep learning-based 3D object detection on radar data. Thus, the first step is to analyze the detection performance of the existing models on the new data modality and evaluate them in depth. In order to apply existing 3D point cloud object detectors developed for lidar point clouds to the radar domain, they need to be adapted first. While some detectors, such as PointPillars, have already been adapted to be applicable to radar data, we have adapted others, e.g., Voxel R-CNN, SECOND, PointRCNN, and PV-RCNN. To this end, we conduct a cross-model validation (evaluating a set of models on one particular data set) as well as a cross-data set validation (evaluating all models in the model set on several data sets). The high-resolution radar data used are the View-of-Delft and Astyx data sets. Finally, we evaluate several adaptations of the models and their training procedures. We also discuss major factors influencing the detection performance on radar data and propose possible solutions indicating potential future research avenues.

研究动机与目标

• 评估现有基于激光雷达的3D目标检测器在高分辨率3+1D雷达点云数据上的可迁移性。
• 识别基于雷达的3D检测中的性能瓶颈，特别是由数据稀疏性和高噪声水平引起的问题。
• 评估模型在多样化雷达数据集（包括View-of-Delft和Asthym）上的泛化能力。
• 通过数据累积技术和雷达专用架构扩展提出改进方案。
• 为自动驾驶领域中的纯雷达3D目标检测研究建立基准。

提出的方法

• 将十种最先进3D目标检测器——基于点的（PointRCNN）、基于体素的（Voxel R-CNN）、基于柱状体的（PointPillars）以及点-体素混合的（PV-RCNN）——适配至3+1D雷达点云数据上运行。
• 修改网络主干和特征编码器，包括将体素特征编码器（VFE）扩展以处理雷达特有的输入（如径向速度）。
• 在View-of-Delft（VoD）数据集上训练模型，该数据集是包含城市交通场景的高分辨率3+1D雷达基准数据集。
• 在较小的Asthym数据集上微调VoD上表现最佳的模型，以评估跨数据集的泛化能力。
• 应用跨模型和跨数据集的验证，比较不同模型和数据分布下的检测性能。
• 通过定性分析和错误模式可视化，诊断由雷达噪声和稀疏性引起的误报和错位问题。

Figure 1 : Overview of radar sensor data processing pipeline. See [ 5 , 43 , 27 ] for a more detailed description. ADC: Analog-to-Digital Converter, FFT: Fast Fourier Transformation, DC: Data Conversion, Demo: Demodulation, PD: Peak Detection

实验结果

研究问题

• RQ1 现有基于激光雷达的3D目标检测器在高分辨率3+1D雷达点云数据上的泛化能力如何？
• RQ2 基于雷达的3D检测中的主要性能限制因素是什么？与基于激光雷达的检测相比有何差异？
• RQ3 哪种3D目标检测器架构在不同雷达数据分布和目标类别上表现出最强的鲁棒性？
• RQ4 与激光雷达相比，雷达数据的稀疏性和高噪声水平对检测精度的损害程度如何？
• RQ5 哪些数据处理或架构修改能够提升纯雷达3D目标检测的性能？

主要发现

• PV-RCNN和Voxel R-CNN在View-of-Delft和Asthym两个数据集上均实现了最高且最一致的3D mAP性能，表明其对雷达数据特性的更强鲁棒性。
• PointRCNN在雷达数据上的表现显著劣于其他模型，表明其在未经重大架构修改的情况下不适合直接应用于雷达数据。
• 激光雷达与雷达感知之间的性能差距不能仅归因于稀疏性；雷达点云中的高噪声水平导致显著的错位和误报。
• 在地面真实标注点数较少的稀疏区域，误报尤为普遍，表明检测器在低信号区域仍会学习到预测检测结果。
• 对时间序列点云进行简单累积会导致动态物体产生模糊伪影，而通过使用径向速度估计进行运动补偿可有效缓解该问题。
• 雷达专用的架构扩展（如引入径向速度、自注意力机制或不确定性估计）在缩小与激光雷达性能差距方面展现出巨大潜力。

Figure 2 : General trends for the detection performances of all the investigated models for both ranges on lidar (solid lines) and radar (dashed lines) data. PP: PointPillars, SD: SECOND, Point: Point-RCNN, PV: PV-RCNN, Voxel: Voxel R-CNN, CP: CenterPoint