[论文解读] Voxel Transformer for 3D Object Detection

Jiageng Mao, Yujing Xue+6 more|arXiv (Cornell University)|Sep 6, 2021

Advanced Neural Network Applications参考文献 50被引用 4

一句话总结

本文提出Voxel Transformer（VoTr），一种用于3D目标检测的稀疏高效Transformer主干网络，通过利用自注意力机制在稀疏体素间捕捉长距离上下文，替代传统的3D卷积神经网络。通过引入局部注意力与空洞注意力机制，以及快速体素查询（Fast Voxel Query），VoTr在KITTI和Waymo Open数据集上实现了最先进性能，仅增加20ms延迟，同时减少模型参数量并保持高推理速度。

ABSTRACT

We present Voxel Transformer (VoTr), a novel and effective voxel-based Transformer backbone for 3D object detection from point clouds. Conventional 3D convolutional backbones in voxel-based 3D detectors cannot efficiently capture large context information, which is crucial for object recognition and localization, owing to the limited receptive fields. In this paper, we resolve the problem by introducing a Transformer-based architecture that enables long-range relationships between voxels by self-attention. Given the fact that non-empty voxels are naturally sparse but numerous, directly applying standard Transformer on voxels is non-trivial. To this end, we propose the sparse voxel module and the submanifold voxel module, which can operate on the empty and non-empty voxel positions effectively. To further enlarge the attention range while maintaining comparable computational overhead to the convolutional counterparts, we propose two attention mechanisms for multi-head attention in those two modules: Local Attention and Dilated Attention, and we further propose Fast Voxel Query to accelerate the querying process in multi-head attention. VoTr contains a series of sparse and submanifold voxel modules and can be applied in most voxel-based detectors. Our proposed VoTr shows consistent improvement over the convolutional baselines while maintaining computational efficiency on the KITTI dataset and the Waymo Open dataset.

研究动机与目标

• 为解决基于体素检测器中3D卷积主干网络感受野有限的问题，该问题会妨碍对稀疏或不完整3D目标的检测。
• 在点云数据中实现对稀疏、非均匀分布体素的有效自注意力机制，且不产生高昂的计算成本。
• 设计一种通用的基于Transformer的主干网络，可无缝集成至现有基于体素的3D检测器中以获得性能提升。
• 在显著提升检测精度的同时，与卷积网络相比保持计算效率和低延迟。

提出的方法

• 提出稀疏体素模块与子流形体素模块，分别高效处理空体素与非空体素位置，支持稀疏注意力操作。
• 引入局部注意力与空洞注意力机制，扩展每个体素的有效感受野，同时限制每个查询体素的注意力目标数量。
• 采用快速体素查询（Fast Voxel Query）通过稀疏张量操作高效检索相关体素特征，加速多头注意力机制。
• 在VoTr模块中使用线性投影层以最小化模型参数量，相比3D卷积主干网络减少0.5M参数。
• 采用多头自注意力机制并引入动态注意力权重，使每个体素能够关注大空间范围内远距离但语义相关的体素。
• 设计架构为即插即用，可无缝集成至大多数现有基于体素的检测器（如SECOND和PV-RCNN），实现一致的性能增益。

Figure 2: The overall architecture of Voxel Transformer (VoTr). VoTr is a Transformer-based 3D backbone that can be applied in most voxel-based 3D detection frameworks. It contains a series of sparse and submanifold voxel modules. Submanifold voxel modules perform multi-head self-attention strictly

实验结果

研究问题

• RQ1 基于Transformer的主干网络能否有效捕捉在3D体素网格中因3D卷积感受野受限而失效的长距离空间依赖？
• RQ2 如何在不产生标准Transformer在密集网格上计算成本的前提下，高效地将自注意力机制应用于稀疏体素数据？
• RQ3 在3D体素检测中，何种注意力机制（如局部注意力与空洞注意力）能最佳平衡感受野扩展与计算效率？
• RQ4 引入自注意力机制在长距离与稀疏3D目标检测中，尤其在远距离或小目标检测等挑战性场景下，能多大程度上提升检测性能？
• RQ5 基于Transformer的主干网络能否在显著超越3D卷积主干网络的同时，保持高推理速度与低参数量？

主要发现

• 在KITTI数据集上，VoTr-SSD相比3D卷积基线模型，中等难度车辆mAP提升2.29%，困难难度车辆mAP提升1.79%。
• 在Waymo Open数据集上，VoTr-SSD相比SECOND模型mAP提升1.05%，相比PV-RCNN模型mAP提升3.26%，尤其在远距离检测中表现显著（50m-Inf范围内最高提升4.83%）。
• 在KITTI验证集上，使用空洞注意力替代仅使用局部注意力，mAP提升2.79%，证明其在扩展上下文捕捉能力方面的有效性。
• 当Dropout率设为0.3时，向VoTr模块添加Dropout层导致mAP下降8.52%，表明Dropout在此架构中具有负面影响。
• 由于采用参数高效的线性投影，VoTr相比3D卷积主干网络减少0.5M参数量，并保持高推理速度（单阶段检测器达14.65 Hz）。
• 可视化结果证实，体素查询可动态关注大空间范围内远距离但语义相关的体素，支持模型对长距离依赖关系的建模能力。

Figure 3: Illustration of Local and Dilated Attention. We note that this is a 2D example and can be easily extended to 3D cases. For each query (red), Local Attention (yellow) focuses on the local region while Dilated Attention (green) searches the whole space with gradually enlarged steps. The non-