[论文解读] PV-RCNN: The Top-Performing LiDAR-only Solutions for 3D Detection / 3D Tracking / Domain Adaptation of Waymo Open Dataset Challenges

Shaoshuai Shi, Chaoxu Guo+2 more|arXiv (Cornell University)|Aug 28, 2020

Advanced Neural Network Applications参考文献 11被引用 8

一句话总结

本文提出PV-RCNN，一种仅使用LiDAR的3D目标检测框架，通过结合基于体素的稀疏卷积与基于点的集合抽象，实现了在3D检测、跟踪和域适应任务中的卓越性能。通过引入时间信息、动态体素化、自适应采样以及结合非极大值抑制和框投票的模型集成，该方法在Waymo Open Dataset Challenge 2020的全部三个赛道中取得SOTA结果——在仅使用LiDAR的方法中排名第一，总体排名第二。

ABSTRACT

In this technical report, we present the top-performing LiDAR-only solutions for 3D detection, 3D tracking and domain adaptation three tracks in Waymo Open Dataset Challenges 2020. Our solutions for the competition are built upon our recent proposed PV-RCNN 3D object detection framework. Several variants of our PV-RCNN are explored, including temporal information incorporation, dynamic voxelization, adaptive training sample selection, classification with RoI features, etc. A simple model ensemble strategy with non-maximum-suppression and box voting is adopted to generate the final results. By using only LiDAR point cloud data, our models finally achieve the 1st place among all LiDAR-only methods, and the 2nd place among all multi-modal methods, on the 3D Detection, 3D Tracking and Domain Adaptation three tracks of Waymo Open Dataset Challenges. Our solutions will be available at https://github.com/open-mmlab/OpenPCDet

研究动机与目标

• 开发一种高性能的仅使用LiDAR的3D目标检测、跟踪与域适应解决方案，应用于Waymo Open Dataset。
• 通过结合基于体素与基于点的深度学习方法的优势，解决LiDAR点云中稀疏性与不规则性带来的挑战。
• 通过融合连续帧的时间特征，提升对小目标（如行人与自行车骑行者）的检测精度。
• 通过在目标域数据上进行微调、采用自适应采样与模型集成，增强模型在域适应任务中的鲁棒性与泛化能力。
• 仅使用LiDAR输入，在多个基准测试中实现顶尖性能，不依赖摄像头或多模态数据。

提出的方法

• 提出PV-RCNN，一种两阶段3D检测器，首先利用体素集合抽象（VSA）将多尺度体素特征聚合为关键点特征，从而保留精确的空间位置信息。
• 提出预测关键点加权（PKW），通过分割监督对关键点特征进行重加权，突出前景关键点而非背景关键点。
• 采用RoI-grid池化，聚合3D提议区域周围的关键点特征，扩大感受野，并支持在提议边界外进行特征分组。
• 将前一帧的点云与时间偏移嵌入结合，生成更密集的输入，提升对小目标与稀疏目标的检测能力。
• 仅在推理阶段应用动态体素化，以减少量化损失，同时保持训练效率。
• 采用自适应采样选择，消除类别特定的锚框超参数，提升训练稳定性和泛化能力。

实验结果

研究问题

• RQ1 如何有效结合基于体素与基于点的3D检测方法，以提升在稀疏LiDAR点云上的检测精度？
• RQ2 从连续LiDAR帧中引入时间信息在多大程度上能提升检测性能，尤其是对小目标？
• RQ3 在推理阶段应用动态体素化是否能在不改变训练流程的前提下提升检测mAP？
• RQ4 结合非极大值抑制与框投票的模型集成在提升多个3D检测、跟踪与域适应任务性能方面有多有效？
• RQ5 仅使用LiDAR的模型是否能在不依赖多模态数据的前提下实现域适应任务的SOTA性能？

主要发现

• 最终的模型集成在Waymo Open Dataset测试集上对车辆的mAP达到81.06/80.57（L1/L2），对行人的mAP为73.69/73.23，对自行车骑行者的mAP为75.10/73.84，斩获仅使用LiDAR方法中的第一名，总体排名第二。
• 引入前一帧的特征使行人的mAP提升最高达1.5%，自行车骑行者的mAP提升最高达2.6%，证明了时间上下文的有效性。
• 在推理阶段采用动态体素化使所有类别mAP提升0.5–1.0分，表明量化损失得以减少。
• 结合RoI特征的自适应采样与分类进一步使mAP提升1.5–2.5分，尤其在行人与自行车骑行者等难检测类别上效果显著。
• 结合软-NMS与框投票的模型集成使mAP平均提升超过2分，其中在行人与自行车骑行者类别中增益最大。
• 在域适应任务中，对80个目标域序列进行微调后，车辆的mAP达到71.40/70.70（L1/L2），行人的mAP达到58.40/55.36，显示出对新域的强大泛化能力。