[论文解读] The H3D Dataset for Full-Surround 3D Multi-Object Detection and Tracking in Crowded Urban Scenes

Abhishek Patil, Srikanth Malla+2 more|arXiv (Cornell University)|Mar 4, 2019

Advanced Neural Network Applications参考文献 24被引用 28

一句话总结

本论文提出了H3D数据集，这是一个在拥挤城市场景中使用360°激光雷达采集的大规模、全向3D多目标检测与跟踪基准数据集。该研究提出了一种高效的标注方法和标准化的评估协议，实现了SOTA基线模型：在0.5和0.25 IoU阈值下，汽车检测的mAP分别为76.50%，行人检测的mAP分别为50.88%。

ABSTRACT

3D multi-object detection and tracking are crucial for traffic scene understanding. However, the community pays less attention to these areas due to the lack of a standardized benchmark dataset to advance the field. Moreover, existing datasets (e.g., KITTI) do not provide sufficient data and labels to tackle challenging scenes where highly interactive and occluded traffic participants are present. To address the issues, we present the Honda Research Institute 3D Dataset (H3D), a large-scale full-surround 3D multi-object detection and tracking dataset collected using a 3D LiDAR scanner. H3D comprises of 160 crowded and highly interactive traffic scenes with a total of 1 million labeled instances in 27,721 frames. With unique dataset size, rich annotations, and complex scenes, H3D is gathered to stimulate research on full-surround 3D multi-object detection and tracking. To effectively and efficiently annotate a large-scale 3D point cloud dataset, we propose a labeling methodology to speed up the overall annotation cycle. A standardized benchmark is created to evaluate full-surround 3D multi-object detection and tracking algorithms. 3D object detection and tracking algorithms are trained and tested on H3D. Finally, sources of errors are discussed for the development of future algorithms.

研究动机与目标

• 解决复杂城市环境中全向多目标检测与跟踪缺乏标准化、大规模3D数据集的问题。
• 克服现有数据集（如KITTI）的局限性，例如缺乏360°全覆盖、丰富的标注信息，以及在高度交互、遮挡严重的场景中数据不足的问题。
• 通过提供密集且精确的3D边界框与轨迹标注，推动在拥挤城市环境中3D感知的研究。
• 开发一种高效的标注流水线，实现在保持精度的前提下规模化标注大规模3D点云数据。
• 建立全向3D检测与跟踪的标准化评估协议，以实现未来算法的公平比较。

提出的方法

• 从旧金山湾区的HDD数据集中采集160段全向360°激光雷达序列，重点聚焦于拥挤复杂的城区场景。
• 提出一种新颖的标注方法，利用激光雷达SLAM与2D投影技术，加速大规模点云上3D边界框的标注。
• 在27,721帧中完成1,071,302个实例的标注，涵盖8类常见交通参与者，包括汽车、行人和卡车。
• 使用修改后的训练超参数训练并评估VoxelNet进行3D目标检测：训练80个周期，学习率衰减，批量大小为12，以及针对不同目标的距离特定点云过滤（汽车为40m，行人为25.6m）。
• 采用无迹卡尔曼滤波器（UKF）构建全向3D多目标跟踪系统，状态向量包含位置、速度、朝向与角速度。
• 通过物体质心之间的欧氏距离实现数据关联，利用垂直面积乘数处理遮挡问题，并设置2帧的轨迹老化机制。

实验结果

研究问题

• RQ1 具有密集标注的大规模全向3D数据集是否能够提升复杂城市场景中3D多目标检测与跟踪模型的性能与泛化能力？
• RQ2 所提出的标注方法在保持标注质量的前提下，是否能有效加速大规模3D点云的标注？
• RQ3 在高遮挡与高杂波条件下，3D检测与跟踪的关键失败模式是什么？它们如何影响算法性能？
• RQ4 检测输入的质量在多大程度上影响下游3D多目标跟踪的准确性？
• RQ5 在具有真实城市复杂性的全向3D跟踪基准上，MOTA、MOTP、MT与ML等标准评估指标的表现如何？

主要发现

• H3D数据集包含27,721帧，共1,071,302个3D边界框标注，覆盖8种类别，是迄今为止最大的全向3D检测与跟踪数据集。
• VoxelNet在0.5 IoU阈值下对汽车检测的mAP达到76.50%，在0.25 IoU阈值下对行人检测的mAP达到50.88%，展示了该新基准上的基线性能。
• 检测失败在遮挡场景中最常见，尤其对行人而言，点云密度低和部分可见性导致漏检。
• 跟踪性能对检测质量高度敏感；使用真实标注检测时，汽车的MOTA达到0.99，行人的MOTA达到0.83；但使用模型预测结果时，MOTA分别下降至0.762和0.368。
• 遮挡导致显著的跟踪性能下降，43.4%的行人轨迹被归类为“大部分丢失”（ML），表明在遮挡条件下长期跟踪面临重大挑战。
• 对于点云点数较少的物体，尤其是静止或部分可见的车辆，方位角估计误差显著，凸显了在点云密度低时方向回归的局限性。