[论文解读] VPFNet: Voxel-Pixel Fusion Network for Multi-class 3D Object Detection

Chia‐Hung Wang, Hsueh-Wei Chen+1 more|arXiv (Cornell University)|Nov 1, 2021

Advanced Neural Network Applications被引用 16

一句话总结

VPFNet 是一种新颖的双流 3D 目标检测网络，通过体素-像素融合（VPF）层将 LiDARD 体素特征与相机像素特征进行融合，显式建模几何关系并学习参数以增强特征融合。该方法在 KITTI 基准测试中达到最先进性能，在具有挑战性的行人检测类别中排名第一，中等难度下的 mAP 达到 64.48%。

ABSTRACT

Many LiDAR-based methods for detecting large objects, single-class object detection, or under easy situations were claimed to perform quite well. However, their performances of detecting small objects or under hard situations did not surpass those of the fusion-based ones due to failure to leverage the image semantics. In order to elevate the detection performance in a complicated environment, this paper proposes a deep learning (DL)-embedded fusion-based multi-class 3D object detection network which admits both LiDAR and camera sensor data streams, named Voxel-Pixel Fusion Network (VPFNet). Inside this network, a key novel component is called Voxel-Pixel Fusion (VPF) layer, which takes advantage of the geometric relation of a voxel-pixel pair and fuses the voxel features and the pixel features with proper mechanisms. Moreover, several parameters are particularly designed to guide and enhance the fusion effect after considering the characteristics of a voxel-pixel pair. Finally, the proposed method is evaluated on the KITTI benchmark for multi-class 3D object detection task under multilevel difficulty, and is shown to outperform all state-of-the-art methods in mean average precision (mAP). It is also noteworthy that our approach here ranks the first on the KITTI leaderboard for the challenging pedestrian class.

研究动机与目标

• 为解决基于 LiDAR 的 3D 目标检测器在复杂环境中检测小目标或难以检测目标（如行人）的局限性。
• 通过整合 RGB 相机提供的高分辨率图像语义信息，弥补稀疏 LiDAR 点云中缺乏语义上下文的问题。
• 设计一种特征融合机制，显式建模体素-像素对之间的几何关系，以提升跨模态特征学习效果。
• 开发一种融合架构，在保留 3D 空间信息的同时，通过专用的 VPF 层实现有效的 2D-3D 特征交互。

提出的方法

• 网络通过将 LiDAR 点云体素化为 3D 网格，并使用 3D 主干网络提取特征。
• 同时，RGB 图像通过 2D 主干网络处理，以提取像素级特征。
• 引入一种新颖的体素-像素融合（VPF）层，通过建模其几何对应关系并使用可学习参数来融合体素与像素特征。
• VPF 层包含三个组件：参数特征生成（PFG）用于生成针对体素-像素对的特定参数，基于参数的加权（PBW）用于自适应调节特征重要性，以及 VPF 模块用于执行实际融合。
• 融合过程为双向，并在多个下采样阶段应用，以保留空间分辨率并丰富特征表示。
• 训练期间使用辅助 2D 检测头以改善特征学习，但在推理阶段移除该头。

实验结果

研究问题

• RQ1 显式建模体素-像素对之间的几何关系是否能提升 3D 目标检测中的跨模态特征融合？
• RQ2 为体素-像素对学习任务特定参数是否能带来优于标准融合机制的特征表示？
• RQ3 在不同网络深度处放置 VPF 层如何影响检测性能？
• RQ4 基于融合的 3D 检测器是否能超越最先进水平的仅 LiDAR 方法，尤其在小目标或难以检测类别（如行人）上？

主要发现

• VPFNet 在 KITTI 3D 检测基准测试中，多级别难度下的平均平均精度（mAP）达到 75.87%，优于所有最先进方法。
• 该方法在官方 KITTI 排行榜的行人类别中排名第一，中等难度下的 mAP 达到 64.48%。
• 消融实验表明，完整的 VPF 层（包含 PFG、PBW 和 VPF 模块）带来最高的 mAP，相比无融合基线提升 2.62%。
• 在第二次下采样阶段插入 VPF 层时性能最佳，mAP 达到 76.68%，高于在第一次阶段插入时的 75.87%。
• 消融研究证实，PFG 和 PBW 模块均至关重要，移除任一模块均导致性能显著下降，尤其在行人检测中更为明显。
• 可视化结果表明，VPFNet 在复杂场景中能够高精度地同时检测汽车、行人和自行车。