[论文解读] Multi-Task Multi-Sensor Fusion for 3D Object Detection

Ming Liang, Bin Yang+3 more|arXiv (Cornell University)|Dec 22, 2020

Advanced Neural Network Applications参考文献 29被引用 8

一句话总结

本文提出了一种端到端、多任务、多传感器融合的3D目标检测框架，通过联合优化2D/3D检测、地面估计和深度补全，利用激光雷达和相机输入实现性能提升。通过结合逐点特征融合与感兴趣区域（ROI）特征融合，并采用多任务学习，该模型在KITTI和TOR4D基准上达到最先进性能，在3D检测中超越先前方法超过3%的平均精度（AP），同时实现实时推理（10+ FPS）。

ABSTRACT

In this paper we propose to exploit multiple related tasks for accurate multi-sensor 3D object detection. Towards this goal we present an end-to-end learnable architecture that reasons about 2D and 3D object detection as well as ground estimation and depth completion. Our experiments show that all these tasks are complementary and help the network learn better representations by fusing information at various levels. Importantly, our approach leads the KITTI benchmark on 2D, 3D and BEV object detection, while being real time.

研究动机与目标

• 通过利用多传感器之间的互补信息，解决单传感器3D检测的局限性，如远距离激光雷达数据稀疏和单目图像深度模糊问题。
• 通过实现跨模态的密集端到端特征融合，克服级联或稀疏ROI-based融合方法的效率低下与精度不足问题。
• 通过多任务监督提升特征表示学习能力，其中辅助任务（如深度补全、地面估计）提供几何与上下文先验，从而增强检测性能。
• 在保持高精度的同时，实现2D、3D及鸟瞰图（BEV）检测任务的实时推理，适用于自动驾驶系统的实际部署。

提出的方法

• 设计一种统一的端到端深度学习架构，联合执行RGB图像与激光雷达点云的2D检测、3D检测、地面估计和深度补全任务。
• 实施一种混合融合策略，结合逐点融合（通过激光雷达点投影）与ROI级特征融合，实现跨模态的密集、多层级特征整合。
• 将深度补全作为辅助任务，从稀疏激光雷达扫描中预测密集深度图，从而在整张特征图上实现更丰富、更密集的特征融合。
• 利用预测的地面位置作为几何监督，指导鸟瞰图（BEV）主干网络估计相对物体位置，提升3D定位精度。
• 采用多任务损失端到端训练整个网络，各任务相互促进特征学习与监督。
• 使用ResNet-18主干网络提取图像特征，采用PointNet-based头部处理激光雷达数据，特征图在多个尺度上融合后输入最终检测头。

实验结果

研究问题

• RQ1 联合优化多个感知任务（2D/3D检测、深度补全、地面估计）是否能超越单任务或双任务设置，在3D目标检测性能上实现进一步提升？
• RQ2 多传感器融合——特别是激光雷达与相机数据的结合——在远距离或遮挡物体等挑战性场景中，对检测性能有何提升作用？
• RQ3 作为辅助任务的深度补全在多大程度上增强了特征表示能力，并实现了更密集、更有效的跨模态融合？
• RQ4 统一的端到端架构是否能在准确率与推理速度上均优于级联或两阶段融合流水线？
• RQ5 结合几何先验（如地面平面估计）的多任务学习在多大程度上提升了对远距离和低能见度物体的检测鲁棒性与泛化能力？

主要发现

• 所提方法在KITTI基准上达到最先进性能，3D检测平均精度（AP）超越第二名超过3%，2D检测AP为95.7%，3D检测AP为85.4%，BEV检测AP为76.3%。
• 在更具挑战性的TOR4D基准上，通过深度补全与密集融合，模型将行人与自行车的BEV检测AP提升4.2%，车辆的相对误差降低5%以上。
• 模型推理速度超过10帧每秒，证明其具备适用于自动驾驶应用的实时推理能力。
• 消融实验表明，深度补全对性能贡献显著，尤其在行人与自行车等低频类别中，得益于更强大的多任务监督。
• 利用预测深度图的密集融合显著提升了性能，尤其对车辆类目标，其在特征图上实现了更广泛、更充分的特征融合。
• 尽管仅使用F-PointNet 1%的训练数据，该模型在硬样本2D检测设置中仍超越其7%以上的AP，证明了联合学习与多传感器融合的有效性。