[论文解读] PI-RCNN: An Efficient Multi-sensor 3D Object Detector with Point-based Attentive Cont-conv Fusion Module

Liang Xie, Chao Xiang+5 more|arXiv (Cornell University)|Nov 14, 2019

Advanced Neural Network Applications参考文献 26被引用 9

一句话总结

本文提出PI-RCNN，一种多传感器3D目标检测器，通过一种新型的基于点的注意力连续卷积融合（PACF）模块，将RGB图像与LiDAR点云特征进行融合。该模块在3D点上直接应用连续卷积，结合逐点池化与注意力聚合。该方法在KITTI 3D检测基准上达到最先进性能，3D平均精度（AP）优于先前方法。

ABSTRACT

LIDAR point clouds and RGB-images are both extremely essential for 3D object detection. So many state-of-the-art 3D detection algorithms dedicate in fusing these two types of data effectively. However, their fusion methods based on Birds Eye View (BEV) or voxel format are not accurate. In this paper, we propose a novel fusion approach named Point-based Attentive Cont-conv Fusion(PACF) module, which fuses multi-sensor features directly on 3D points. Except for continuous convolution, we additionally add a Point-Pooling and an Attentive Aggregation to make the fused features more expressive. Moreover, based on the PACF module, we propose a 3D multi-sensor multi-task network called Pointcloud-Image RCNN(PI-RCNN as brief), which handles the image segmentation and 3D object detection tasks. PI-RCNN employs a segmentation sub-network to extract full-resolution semantic feature maps from images and then fuses the multi-sensor features via powerful PACF module. Beneficial from the effectiveness of the PACF module and the expressive semantic features from the segmentation module, PI-RCNN can improve much in 3D object detection. We demonstrate the effectiveness of the PACF module and PI-RCNN on the KITTI 3D Detection benchmark, and our method can achieve state-of-the-art on the metric of 3D AP.

研究动机与目标

• 解决现有3D目标检测器依赖鸟瞰图（BEV）或体素融合方法的局限性，这些方法因量化和视角不匹配导致精度损失。
• 通过利用RGB图像中的丰富语义信息，同时克服LiDAR点云稀疏性和语义缺失问题，提升3D目标检测性能。
• 设计一种直接在3D点上操作的融合机制，而非在转换后的2D表示上操作，以保留空间精度并实现更优的特征整合。
• 通过联合训练分割子网络与3D检测子网络，利用多任务学习提升特征表达能力，从而增强检测性能。

提出的方法

• 提出基于点的注意力连续卷积融合（PACF）模块，直接在原始3D LiDAR点上应用连续卷积，以融合LiDAR与RGB输入的特征。
• 引入点池化（Point-Pooling）操作，聚合邻近点的特征，提升对稀疏点分布的鲁棒性。
• 应用注意力聚合机制，学习不同模态特征的重要性权重，增强融合的表达能力。
• 设计PI-RCNN为双流网络：一路通过轻量级全卷积分割网络处理RGB图像，生成全分辨率语义图；另一路处理原始LiDAR点以生成3D候选框。
• 在检测网络的中间阶段，使用PACF模块融合两路的特征，实现上下文感知的特征学习。
• 仅使用3D目标标注端到端训练整个网络，可选地在语义分割数据上预训练分割子网络，以提升特征质量。

实验结果

研究问题

• RQ1 与基于BEV或体素的融合方法相比，直接在3D点上进行多传感器特征融合是否能显著提升3D目标检测精度？
• RQ2 在基于点的网络中，将图像语义分割作为多任务头引入，是否能提升3D目标检测性能？
• RQ3 在检测网络中，融合位置（早期 vs. 中期）的选择如何影响检测性能？
• RQ4 从分割网络中选择不同特征提取层对最终3D检测精度有何影响？
• RQ5 当仅拥有3D目标标注时，对分割子网络进行语义分割数据上的预训练是否有效？

主要发现

• PACF模块通过实现逐点连续卷积与注意力机制，显著提升了特征融合效果，优于标准的BEV基融合方法。
• PI-RCNN在KITTI 3D检测基准上达到最先进3D平均精度（AP），在验证集与测试集上均超越先前方法。
• 消融实验表明，K=3为连续卷积的最佳感受野大小，而更大的K值会引入远处点带来的噪声。
• 在PACF中引入点池化与注意力聚合机制带来了可测量的性能提升，证实了其在特征精炼中的有效性。
• 在检测网络的中期阶段进行特征融合（PI-RCNN V1）优于早期融合（PI-RCNN V2），表明中层特征更适合融合。
• 在子网络中使用多类别语义分割监督比单类别训练表现更优，因其为背景与场景理解提供了更丰富的上下文先验。